HBase 相关

水平扩展测试
用3个节点和1个节点做比较，3反而小于1
不过由于数据量小，虚拟机无法说明问题
hbase org.apache.hadoop.hbase.PerformanceEvaluation --nomapred --rows=10000 sequentialWrite 1
hbase org.apache.hadoop.hbase.PerformanceEvaluation --nomapred --rows=10000 sequentialRead 1
===3 nodes=======
[SequentialWriteTest] Min: 3879ms Max: 3879ms Avg: 3879ms
[SequentialReadTest] Min: 6646ms Max: 6646ms Avg: 6646ms
===1 nodes=======
[SequentialWriteTest] Min: 2470ms Max: 2470ms Avg: 2470ms
[SequentialReadTest] Min: 5325ms Max: 5325ms Avg: 5325ms

-------------------
hbase 大数据统计时 15w
count 'TestTable'   150000 row(s) in 126.0820 seconds
count 'TestTable',CACHE=>1000, INTERVAL => 100000    150000 row(s) in 8.3270 seconds


调试hbase的PerformanceEvaluation源代码
在bin/hbase中对client启动增加远程调试参数
if [[ $server ]]; then
echo "this is a server"
HBASE_OPTS="$HBASE_OPTS $SERVER_GC_OPTS"
else
echo "this is a client"
        #HBASE_OPTS="$HBASE_OPTS $HBASE_MASTER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10444"
HBASE_OPTS="$HBASE_OPTS $CLIENT_GC_OPTS"
fi

echo "this is a war"

发现需要有参数--nomapred才能使用本地的， 不然会使用mapred的所以日志结果出不来。

-----------
slave上停止不了hbase相关进程，可以用一下命令
hbase-daemon.sh stop regionserver
hbase-daemon.sh stop zookeeper


shell 命令
hbase shell
create 'mytable', 'cf'
put 'mytable','first','cf:info','patience and courage'
list
scan "users"
get "users","TheRealMT"
count "users"
scan "follows",{COLUMNS=>"f:from"}
第一步 disable '表名称' 第二步  drop '表名称'
scan 'TestTable',{LIMIT=>10}

Linux 命令
start-hbase.sh
hbase shell

------------------------
eclipse
hbase 0.96.2 匹配hadoop2.2
maven找不到hbase0.96的jar包(只有pom包)， 将server中hbase的lib包拷贝到本地

------------
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.InitTables -f
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool add "TheRealMT" "Mark Twain" "[e-mail]" "abc123"
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool list
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.mapreduce.TimeSpent src/test/resource/listing\ 3.3.txt ./out

java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.LoadUsers 100
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.LoadTwits 100
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.TwitsTool list ayant68
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool get ayant68
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.RelationsTool list follows tristan

java -cp target/twitbase-async-1.0.1.jar HBaseIA.TwitBase.AsyncUsersTool update