hadoop hive hbase shell小贴

纯笔记，勿看

 

集群迁移

 

hadoop distcp -D mapreduce.job.queuename=rtb  -D dfs.checksum.type=CRC32  hdfs://mycluster/hbase/data/default/table hdfs://ip161:8020/user/dirkzhang > report.log   2>&1 &

 

hadoop distcp hftp://nn.xxx.xx.com:50070/user/nlp/warehouse/t_m_user_key_action    /user/nlp/warehouse/dw1

 

hadoop hive 分区建立

alter table xxxx drop partition (logday='20150909',hour='12');

 

ALTER TABLE xxxx ADD IF NOT EXISTS PARTITION (day_id='20150908', hour_id='23') location 'hdfs://mycluster/data/stg/emaruser/20150908/23'; 

 

 

hadoop第三方jar包，多个

conf.set("tmpjars", "json-simple-1.1.1.jar,json-lib-2.4-jdk15.jar,ezmorph-1.0.6.jar");

 

hbase添加节点

1.修改环境变量，/etc/hosts文件，改变系统线程数，文件数
2.所有应用上加/etc/hosts文件
3.修改配置，修改hdfs-site.xml，改成本地数据磁盘
4.修改所有机子上slaves，和regionservers

 

 

删除zk日志的频率和保留几个文件

#clean freques
autopurge.purgeInterval=12
#clean size
autopurge.snapRetainCount=12

 

tachyon 启动 format

如果不想每次启动Tachyon都挂载一次RamFS，可以先使用命令 bin/tachyon-mount.sh Mount workers 或 bin/tachyon-mount.sh SudoMount workers 挂载好所有RamFS，然后使用 bin/tachyon-start.sh all NoMount 命令启动Tachyon。
		spark1.5对应版本tachyon0.7.1
		bin/tachyon format
		bin/tachyon-mount.sh SudoMount workers
		bin/tachyon-start.sh all NoMount
		bin/tachyon-stop.sh

 

 

linux jps显示不了进程

以下文件权限有误

/tmp/hsperfdata_userName

 

hadoop查看文件大小

hadoop fs -du -h

 

hive在建表的时候有时出现

Display all XXX possibilities? (y or n)

是因为tab键太多造成的

 

hbase创建表

create 'hotdog_adr_base', { NAME => 'cf', COMPRESSION => 'GZ'},{SPLITS => ['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z',

'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z']}  

 

shell判断是否有参数

if [ $# -lt 2 ] ; then

  echo "期待2个参数"

  exit 1

fi

echo $1

echo $2

 

mysql命令

mysql -N -hl-an7.wap.cn6.qunar.com -P3306 -umobstat -p'xH!dmobstatsa!oSX' -e "

  use mobiledcs_ad;

  load data local infile '${BASE_PATH}/xxx_${logdate}.tmp' into table datatable(id,name,count)

" || exit

 

linux统计行数（上海出现多少次）

cat test2.txt | grep '上海' | wc -l

hhh出现行数

grep -c 'hhh' test.txt

 

 linux处理文件列awk

awk '{print $6}' test.txt 

 awk求和awk '{total+=$6}END{print total}' test.txt 

awk分组求和（按照$1分组，$6求和）awk '{a[$1]+=$6}END{for(i in a)print(i,a[i])}' test.txt 

 

linux测试本地机子是否可以连接 ip port

nc -z -v 192.168.44.37 80

 

 shell换行

echo -e  '\n'

 

linux 查看域名ip

nslookup l-rtools1.ops.cn8

 

hbase 执行命令

sudo -u hadoop echo "scan 'hbase:meta',{LIMIT=>1}"| hbase shell &> dump.txt

 

 python ide

pycrust

 

linux 进程

ps -ef | grep report

 

 linux 杀死一批相同类型的进程（grep -v grep是除了grep进程，$2就是pid）

kill -9 $(ps -ef|grep -E 'report|runrp'|grep -v grep|awk '{print $2}')

 

ps -ef|grep rolling-restart.sh | grep -v "grep" | awk -F " " '{print $2}' | xargs kill -9

 

 

 hadoop 指定集群拿数据

 sudo -uxxxxxx hadoop fs -fs ip:8020 -ls

 

shell在线编译sed

 sed -i '3 s/user/dirk/' td.txt  修改第三行 将user改为dirk （ -i是在当前文档上修改 ）

 

 sed -n '3p' td.txt  打印第三行

 

获取第三行，第三列内容，用/隔开(cut 和 awk都可以获取列)

sed -n '3p' td.txt | cut -d "/" -f3 

sed -n '3p' td.txt | awk -F "/" '{print$3}'

awk -F "/" '{if(NR==3) print $3}' td.txt

 

 hbase shell建立分区表

create 'tb_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']}

 

hive shell dll

 alter table dirktest add columns(nc string); 增加列

 alter table dirktest replace columns(aa string,bb string,order_count bigint); 删除列 

 

linux shell

获取父Pid 为$PPID

写入文件

_pp=$PPID

echo $_pp >>  /test/dirk.txt

 

hive shell

MSCK REPAIR TABLE table_name;

该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。

 

 linux 查看文件夹大小

du -h --max-depth=1 home/data

 

hadoop添加classpath

HADOOP_CLASSPATH=/home/hadoop-cdh/app/hbase-0.98.1-cdh5.1.0/lib/* hadoop jar  /home/hadoop-cdh/imgDownload/imgHbase.jar com.emar.nbt.hbase.mr.ImgDownloadTuanMR testProduct

 

 

linux shell 查看socket数

socket上线

ulimit -n

 socket使用

cat /proc/net/sockstat

 

linux 线程启动时间：

ps axo pid,ppid,comm,pmem,lstart | grep 4740

 

 

linux shell赋值

#if HBASE_HOME not empty,use HBASE_HOME,else use later one

#HBASE_HOME="${HBASE_HOME:-/home/hadoop-cdh/app/hbase-0.98.1-cdh5.1.0}"

 

mysql shell

授权 把mysqldb库的查询和更新权限赋给hadoopuser，hadoopuser的密码是hadooppwd

grant select,update on mysqldb.* to hadoopuser@localhost identified by 'hadooppwd';

grant all on testdb.* to common_user@'%'

 

 

linux中远程连接（如SSH）出现someone could be eavesdropping on you right now的解决办法

今天用SSH连接我的远程主机，出现了以下错误：

IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!

Someone could be eavesdropping on you right now (man-in-the-middle attack)!

网上查了一下，用

rm -rf .ssh/known_hosts

删除主机列表就行了。

 

观察进行gc情况

 jstat -gc pid

 jstat -gcutil pid 1000

 

zk命令

sh bin/zkServer.sh start

sh bin/zkServer.sh status

sh bin/zkServer.sh stop

sh bin/zkServer.sh restart

 

sh bin/zkCli.sh -server hostxxx:2181

 

sh bin/zkServer.sh status

 

-------------------------------------

hbase balance

sh $HADOOP_HOME/bin/start-balancer.sh –t 10%

 

linux启动时间

date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S"

who -b

 

 dns文件

 /etc/resolv.conf

vim替换

:%s/aaa/bbb/g

 

shell if判断是否为空

para1=
if [ ! -n $para1 ]; then
  echo "IS NULL"
else
  echo "NOT NULL"
fi