`
侯上校
  • 浏览: 225825 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

拷贝hadoop2目录下所有hadoop*.jar到hbase/lib目录

 
阅读更多
find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/local/hbase/lib/

保存hbase的操作命令历史 
用户目录下,新建一个文件.irbrc,输入以下内容

require 'irb/ext/save-history'
IRB.conf[:SAVE_HISTORY] = 100
IRB.conf[:HISTORY_FILE] = "#{ENV['HOME']}/.irb_history"
Kernel.at_exit do
    IRB.conf[:AT_EXIT].each do |i|
        i.call
    end
end
重新进入hbase shell,执行几个命令,退出后,命令会保存在用户目录中的.irb_history文件中
hadoop@hadoopMaster:~$ l | grep .ir
-rw-rw-r--  1 hadoop hadoop    24  6月  9 08:57 .irb_history
-rw-rw-r--  1 hadoop hadoop   185  6月  9 08:57 .irbrc


 

通过WEB查看hbase:

查看Master http://master:60010/master.jsp

查看Region Serverhttp://slave:60030/regionserver.jsp

查看ZK Tree http://master:60010/zk.jsp

 

#!/bin/bash
echo "start"
for ((i=19;i<=22;i++))
do
ssh 192.168.20.$i 'date -s "2011-05-10 10:44:00"; clock -w'
done
echo "complete"

 

hbase(main):001:0> import java.text.SimpleDateFormat
=> Java::JavaText::SimpleDateFormat
hbase(main):002:0> import java.text.ParsePosition
=> Java::JavaText::ParsePosition
hbase(main):004:0> SimpleDateFormat.new("yy/MM/dd HH:mm:ss").parse("08/08/16 20:56:29", ParsePosition.new(0)).getTime()
=> 1218891389000

 

create 'tb_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']}
hbase shell之创建表的同时创建分区 
这个时候可以http://hadoopmaster:60010/master-status去看看

发现这个表有4个regions:
既有普通option(例如VERSIONS,COMPRESSION等),又创建预分区
create 't', {NAME => 'f', VERSIONS => 1, COMPRESSION => 'SNAPPY'}, {SPLITS => ['10','20','30']}


 

hbase(main):01:0* for i in 0..9 do\ 
hbase(main):02:1* put 't1','row1',"f1:c#{i}","swallow#{i}"\ 
hbase(main):03:1* end 

 

移除添加节点
http://shitouer.cn/2013/03/hadoop-or-hbase-cluster-remove-nodes/

 

HBase修改压缩格式
http://shitouer.cn/2013/05/hbase-table-alter-compression-type-and-snappy-compression-compare/

 

//查具体某表的大小
hadoop@hadoopMaster:~$ hdfs dfs -du /hbase
0      /hbase/.tmp
1179   /hbase/WALs
0      /hbase/archive
90224  /hbase/data
42     /hbase/hbase.id
7      /hbase/hbase.version
100    /hbase/oldWALs

hdfs dfs -dus /hbase/tablename
hdfs dfs -du /hbase/tablename

一个尝试将BigTable(HBase)和 RDBMS (H2数据库) 结合的项目 
https://github.com/codefollower/Lealone
http://shitouer.cn

 

root@Master(192.168.0.1):~$ sudo vim /etc/ntp.conf 
#server ntp.ubuntu.com
server 127.127.1.0 minpoll 4 maxpoll 5
fudge 127.127.1.0 stratum 2
server 127.127.1.0
fudge 127.127.1.0 stratum 8
root@Master:~$ sudo /etc/init.d/ntp restart
 * Stopping NTP server ntpd          [ OK ] 
 * Starting NTP server ntpd          [ OK ] 
root@Master:~$ ntpdate -q 127.0.0.1
server 127.0.0.1, stratum 9, offset -0.000016, delay 0.02571
11 Aug 14:54:24 ntpdate[9249]: adjust time server 127.0.0.1 offset -0.000016 sec
root@Slave1:/home/hadoop# sudo /etc/init.d/ntp stop
 * Stopping NTP server ntpd           [ OK ] 
root@Slave1:/home/hadoop# ntpdate 192.168.0.1
11 Aug 14:57:06 ntpdate[2073]: adjust time server 192.168.0.1 offset 0.008728 sec
root@Slave1:# crontab -e
添加如下行:
* */1 * * * /usr/sbin/ntpdate 192.168.0.1
每个小时与与192.168.0.1时间同步一次。
其它机器类似

 

查看hbasemeta情况
hbase hbck
1.重新修复hbase meta表
hbase hbck -fixMeta
2.重新将hbase meta表分给regionserver
hbase hbck -fixAssignments

 

hbase hbck -h
hbase hbck -fix
导入到HDFS上相应的目录:
hbase org.apache.hadoop.hbase.mapreduce.Export student file:/opt/wksp/hbase/mydata/student

 

hbase:meta
hbase:namespace

 

分享到:
评论

相关推荐

    hadoop-lzo-0.4.20.jar

    拷贝jar包到hadoop和hbase中 cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HADOOP_HOME/share/hadoop/common/ cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HBASE_HOME/lib/ 2.2.6. 拷贝本地...

    Hive和Hase配置

    1.拷贝hbase-0.94.1.jar和zookeeper-3.4.3.jar到hive/lib下。 注意:如hive/lib下已经存在这两个文件的其他版本,建议删除后使用hbase下的相关版本。 //在/home/hadoop/hive-0.9.0/lib 下,备份两个jar包 mv ...

    hbase_libJar包

    《深入理解HBase_libJar包及其在Linux环境中的配置》 HBase,作为一个分布式、高性能、基于列存储的NoSQL数据库,广泛应用于大数据处理场景。其中,`hbase_libJar包`是HBase运行的核心组件之一,包含了HBase运行所...

    08 安装配置hbase0.94.9

    - 为了确保HBase与Hadoop版本兼容,需要将Hadoop目录下的 `hadoop-core-1.2.0.jar` 拷贝到 `/usr/hbase/lib` 目录,并替换原有的JAR包。 3. **配置文件**: - 修改 `hbase-env.sh` 文件,设置 `JAVA_HOME` 为你的...

    Hadoop Hive与Hbase整合

    接下来,需要将Hbase的jar包拷贝到所有Hadoop节点的lib目录下,包括master节点。同时,也需要将Hbase的配置文件hbase-site.xml拷贝到所有Hadoop节点的conf目录下。 在整合Hive和Hbase后,可以使用Hive的查询语言HQL...

    phoenix安装教程

    1. 将phoenix-4.13.1-HBase-1.2-server.jar包拷贝到HBase的lib目录下 2. 在HBase的配置文件中添加phoenix相关的配置 五、启动Phoenix 1. 进入Phoenix的安装目录的bin目录下 2. 使用sqlline.py脚本启动Phoenix,...

    sqoop配置.docx

    - 解压后,将`mysql-connector-java-5.1.37-bin.jar`复制到`sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib`目录下。 3. **设置环境变量** - 编辑`/etc/profile`文件,添加以下内容: ```bash # Sqoop environment ...

    sqoop组件部署.doc

    2. 使用`cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40.jar /usr/local/sqoop/lib/`将解压后的JAR文件拷贝到`$SQOOP_HOME/lib`目录下。 完成以上步骤后, Sqoop组件已在Ubuntu 14.04系统上成功...

    客户端phoenix安装、运行、创建与HBase表同名视图、聚合查询

    3. **拷贝必要的JAR包**:将Phoenix核心库`phoenix-core-4.4.0-HBase-0.98.jar`以及其他相关JAR包复制到Hadoop的类路径中,以便于后续使用。 ```bash cp phoenix-core-4.4.0-HBase-0.98.jar /path/to/hadoop/lib/...

    kettle5.3连接hdfs、hbase、kettle5.2源码编译

    4. 添加 JAR 包:将 `/usr/lib/ictbase` 及 `/usr/lib/ictbase/lib` 目录下的所有 JAR 包拷贝到 `data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp21/lib/pmr`。 创建一个 ...

    谭志坚分析

    - 拷贝`/usr/hdp/current/phoenix-client/`目录下的所有JAR包至松鼠(假设为某个应用)的安装目录的`lib`子目录下,实现Phoenix客户端的集成。 4. **Spark配置**: - 通过Ambari管理界面,在Spark的配置文件`...

    hbase2.0环境搭建

    所以,需要检查hbase的lib目录下是否含有与hadoop版本相兼容的jar包。如果发现不匹配的jar包,则需要从hadoop环境中拷贝或替换为正确的版本。 最后,文档中还提到,如果遇到HMaster进程闪退的问题,建议不要在hbase...

    hbase-0.20_程式設計

    1. **环境配置**:首先,需要将HBase的依赖库(位于`hbase_home`目录内的所有`.jar`文件)拷贝到Hadoop的`lib`目录下。 2. **编译步骤**: - 使用`javac`命令编译Java源代码文件,确保`-classpath`参数正确地指定了...

    大数据技术之Sqoop.docx

    4. 拷贝JDBC驱动到Sqoop的lib目录,例如将mysql-connector-java-5.1.27-bin.jar复制到/opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/。 5. 验证安装。通过运行`bin/sqoop help`命令,如果能看到可用的命令...

    基于节目的个性化实时推荐系统开发流程.docx

    4. **拷贝必要JAR包**:将Hive安装包中的`hive-common-2.3.3.jar`以及MySQL的驱动JAR(`mysql-connector-java-5.1.34.jar`)拷贝到`sqoop`的`lib`目录下。 5. **数据迁移**:使用Sqoop将节目信息数据及用户信息数据...

    sqoop工具_202006041735481.docx

    3. **JDBC驱动拷贝**:将对应的JDBC驱动文件复制到Sqoop的`lib`目录下,以便Sqoop能够识别并连接到特定的关系型数据库。 4. **环境变量配置**:设置必要的环境变量,使得在命令行界面可以直接调用Sqoop命令。 #### ...

    在Hadoop集群环境中为MySQL安装配置Sqoop的教程

    接着,将MySQL JDBC驱动包和Hadoop的`hadoop-core-0.20.2-CDH3B4.jar`复制到Sqoop的`lib`目录下。确保改变目录的所有者为Hadoop用户,以保证执行权限。 3. **环境变量配置**: 修改环境变量设置,将Sqoop的bin目录...

    Sqoop集群搭建.

    将 Sqoop 和 Hadoop 的 JAR 包拷贝到 Sqoop 的 lib 目录下,最后修改 Sqoop 的属主。 二、Sqoop 配置 Sqoop 的配置主要是修改 configure-sqoop 文件,注释掉对于 HBase 和 ZooKeeper 的检查。configure-sqoop 文件...

Global site tag (gtag.js) - Google Analytics