find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/local/hbase/lib/ 保存hbase的操作命令历史 用户目录下,新建一个文件.irbrc,输入以下内容 require 'irb/ext/save-history' IRB.conf[:SAVE_HISTORY] = 100 IRB.conf[:HISTORY_FILE] = "#{ENV['HOME']}/.irb_history" Kernel.at_exit do IRB.conf[:AT_EXIT].each do |i| i.call end end 重新进入hbase shell,执行几个命令,退出后,命令会保存在用户目录中的.irb_history文件中 hadoop@hadoopMaster:~$ l | grep .ir -rw-rw-r-- 1 hadoop hadoop 24 6月 9 08:57 .irb_history -rw-rw-r-- 1 hadoop hadoop 185 6月 9 08:57 .irbrc
通过WEB查看hbase: 查看Master http://master:60010/master.jsp 查看Region Serverhttp://slave:60030/regionserver.jsp 查看ZK Tree http://master:60010/zk.jsp
#!/bin/bash echo "start" for ((i=19;i<=22;i++)) do ssh 192.168.20.$i 'date -s "2011-05-10 10:44:00"; clock -w' done echo "complete"
hbase(main):001:0> import java.text.SimpleDateFormat => Java::JavaText::SimpleDateFormat hbase(main):002:0> import java.text.ParsePosition => Java::JavaText::ParsePosition hbase(main):004:0> SimpleDateFormat.new("yy/MM/dd HH:mm:ss").parse("08/08/16 20:56:29", ParsePosition.new(0)).getTime() => 1218891389000
create 'tb_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']} hbase shell之创建表的同时创建分区 这个时候可以http://hadoopmaster:60010/master-status去看看 发现这个表有4个regions: 既有普通option(例如VERSIONS,COMPRESSION等),又创建预分区 create 't', {NAME => 'f', VERSIONS => 1, COMPRESSION => 'SNAPPY'}, {SPLITS => ['10','20','30']}
hbase(main):01:0* for i in 0..9 do\ hbase(main):02:1* put 't1','row1',"f1:c#{i}","swallow#{i}"\ hbase(main):03:1* end
移除添加节点 http://shitouer.cn/2013/03/hadoop-or-hbase-cluster-remove-nodes/
HBase修改压缩格式 http://shitouer.cn/2013/05/hbase-table-alter-compression-type-and-snappy-compression-compare/
//查具体某表的大小 hadoop@hadoopMaster:~$ hdfs dfs -du /hbase 0 /hbase/.tmp 1179 /hbase/WALs 0 /hbase/archive 90224 /hbase/data 42 /hbase/hbase.id 7 /hbase/hbase.version 100 /hbase/oldWALs hdfs dfs -dus /hbase/tablename hdfs dfs -du /hbase/tablename 一个尝试将BigTable(HBase)和 RDBMS (H2数据库) 结合的项目 https://github.com/codefollower/Lealone http://shitouer.cn
root@Master(192.168.0.1):~$ sudo vim /etc/ntp.conf #server ntp.ubuntu.com server 127.127.1.0 minpoll 4 maxpoll 5 fudge 127.127.1.0 stratum 2 server 127.127.1.0 fudge 127.127.1.0 stratum 8 root@Master:~$ sudo /etc/init.d/ntp restart * Stopping NTP server ntpd [ OK ] * Starting NTP server ntpd [ OK ] root@Master:~$ ntpdate -q 127.0.0.1 server 127.0.0.1, stratum 9, offset -0.000016, delay 0.02571 11 Aug 14:54:24 ntpdate[9249]: adjust time server 127.0.0.1 offset -0.000016 sec root@Slave1:/home/hadoop# sudo /etc/init.d/ntp stop * Stopping NTP server ntpd [ OK ] root@Slave1:/home/hadoop# ntpdate 192.168.0.1 11 Aug 14:57:06 ntpdate[2073]: adjust time server 192.168.0.1 offset 0.008728 sec root@Slave1:# crontab -e 添加如下行: * */1 * * * /usr/sbin/ntpdate 192.168.0.1 每个小时与与192.168.0.1时间同步一次。 其它机器类似
查看hbasemeta情况 hbase hbck 1.重新修复hbase meta表 hbase hbck -fixMeta 2.重新将hbase meta表分给regionserver hbase hbck -fixAssignments
hbase hbck -h hbase hbck -fix 导入到HDFS上相应的目录: hbase org.apache.hadoop.hbase.mapreduce.Export student file:/opt/wksp/hbase/mydata/student
hbase:meta hbase:namespace
相关推荐
拷贝jar包到hadoop和hbase中 cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HADOOP_HOME/share/hadoop/common/ cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HBASE_HOME/lib/ 2.2.6. 拷贝本地...
1.拷贝hbase-0.94.1.jar和zookeeper-3.4.3.jar到hive/lib下。 注意:如hive/lib下已经存在这两个文件的其他版本,建议删除后使用hbase下的相关版本。 //在/home/hadoop/hive-0.9.0/lib 下,备份两个jar包 mv ...
《深入理解HBase_libJar包及其在Linux环境中的配置》 HBase,作为一个分布式、高性能、基于列存储的NoSQL数据库,广泛应用于大数据处理场景。其中,`hbase_libJar包`是HBase运行的核心组件之一,包含了HBase运行所...
- 为了确保HBase与Hadoop版本兼容,需要将Hadoop目录下的 `hadoop-core-1.2.0.jar` 拷贝到 `/usr/hbase/lib` 目录,并替换原有的JAR包。 3. **配置文件**: - 修改 `hbase-env.sh` 文件,设置 `JAVA_HOME` 为你的...
接下来,需要将Hbase的jar包拷贝到所有Hadoop节点的lib目录下,包括master节点。同时,也需要将Hbase的配置文件hbase-site.xml拷贝到所有Hadoop节点的conf目录下。 在整合Hive和Hbase后,可以使用Hive的查询语言HQL...
1. 将phoenix-4.13.1-HBase-1.2-server.jar包拷贝到HBase的lib目录下 2. 在HBase的配置文件中添加phoenix相关的配置 五、启动Phoenix 1. 进入Phoenix的安装目录的bin目录下 2. 使用sqlline.py脚本启动Phoenix,...
- 解压后,将`mysql-connector-java-5.1.37-bin.jar`复制到`sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib`目录下。 3. **设置环境变量** - 编辑`/etc/profile`文件,添加以下内容: ```bash # Sqoop environment ...
2. 使用`cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40.jar /usr/local/sqoop/lib/`将解压后的JAR文件拷贝到`$SQOOP_HOME/lib`目录下。 完成以上步骤后, Sqoop组件已在Ubuntu 14.04系统上成功...
3. **拷贝必要的JAR包**:将Phoenix核心库`phoenix-core-4.4.0-HBase-0.98.jar`以及其他相关JAR包复制到Hadoop的类路径中,以便于后续使用。 ```bash cp phoenix-core-4.4.0-HBase-0.98.jar /path/to/hadoop/lib/...
4. 添加 JAR 包:将 `/usr/lib/ictbase` 及 `/usr/lib/ictbase/lib` 目录下的所有 JAR 包拷贝到 `data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp21/lib/pmr`。 创建一个 ...
- 拷贝`/usr/hdp/current/phoenix-client/`目录下的所有JAR包至松鼠(假设为某个应用)的安装目录的`lib`子目录下,实现Phoenix客户端的集成。 4. **Spark配置**: - 通过Ambari管理界面,在Spark的配置文件`...
所以,需要检查hbase的lib目录下是否含有与hadoop版本相兼容的jar包。如果发现不匹配的jar包,则需要从hadoop环境中拷贝或替换为正确的版本。 最后,文档中还提到,如果遇到HMaster进程闪退的问题,建议不要在hbase...
1. **环境配置**:首先,需要将HBase的依赖库(位于`hbase_home`目录内的所有`.jar`文件)拷贝到Hadoop的`lib`目录下。 2. **编译步骤**: - 使用`javac`命令编译Java源代码文件,确保`-classpath`参数正确地指定了...
4. 拷贝JDBC驱动到Sqoop的lib目录,例如将mysql-connector-java-5.1.27-bin.jar复制到/opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/。 5. 验证安装。通过运行`bin/sqoop help`命令,如果能看到可用的命令...
4. **拷贝必要JAR包**:将Hive安装包中的`hive-common-2.3.3.jar`以及MySQL的驱动JAR(`mysql-connector-java-5.1.34.jar`)拷贝到`sqoop`的`lib`目录下。 5. **数据迁移**:使用Sqoop将节目信息数据及用户信息数据...
3. **JDBC驱动拷贝**:将对应的JDBC驱动文件复制到Sqoop的`lib`目录下,以便Sqoop能够识别并连接到特定的关系型数据库。 4. **环境变量配置**:设置必要的环境变量,使得在命令行界面可以直接调用Sqoop命令。 #### ...
接着,将MySQL JDBC驱动包和Hadoop的`hadoop-core-0.20.2-CDH3B4.jar`复制到Sqoop的`lib`目录下。确保改变目录的所有者为Hadoop用户,以保证执行权限。 3. **环境变量配置**: 修改环境变量设置,将Sqoop的bin目录...
将 Sqoop 和 Hadoop 的 JAR 包拷贝到 Sqoop 的 lib 目录下,最后修改 Sqoop 的属主。 二、Sqoop 配置 Sqoop 的配置主要是修改 configure-sqoop 文件,注释掉对于 HBase 和 ZooKeeper 的检查。configure-sqoop 文件...