hadoop日常

1、

 

【Flume】flume输出sink到hbase的实现

http://www.bubuko.com/infodetail-653767.html#0-tsina-1-76562-397232819ff9a47a7b7e80a40613cfe1

 

2、

血的教训！测试flume一定要先看第一行错误！它是以栈的方式输出报错信息的···

 

3、

sqoop2不支持命令行，sqoop1的lib下缺sqoop1.4.x的jar包

 

4、

--null-string '\\N' --null-non-string '\\N'  sqoop导入导出空值的处理

5、

Yarn和 Zookeeper之间是什么关系，都是管理节点，那他们的应用场景有何区别？

没关系

管理节点说法不对 

分布式系统有很多问题 其中有两个
1. Coordination
2. Resource Management

Zookeeper偏重解决的是前者
Yarn偏重解决的是后者

 

YARN相当于政府，负责管理机器资源的分配，有困难找政府，政府安排人力物力来解决你的问题。这个才是你说的管理节点。

Zookeeper相当于立法委员会，目标是提供权威的信息给这个国家所有的人。Zookeeper关注的主要是信息的一致性，管理一些需要在所有人心中保持一致的信息。它虽然常常用来管理哪个节点活着，哪个节点死了这种信息，或是哪个节点该负责什么事儿，但是它还是主要负责管理信息（档案，法律）的部门，不是民生部门……

6、

namenode secondlynamenode不能切换一个宕掉，另一个standby是因为ssh配置路径写了相对路径

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/grid/.ssh/id_rsa</value>

</property>

但是没有改slave的这个路径，之后上传数据的时候

 

查看数据什么的都没有问题

 

7.

kafka是消费者，直接取走了数据，导致spark steaming读不到