hadoop 现实场景

作者：hovlj_1130 | 可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
http://hi.baidu.com/hovlj_1130/blog/item/619e36d436be74c950da4b2d.html

场景：

hadoop集群A 

ip: 192.168.11.*

hadoop-namenode:192.168.11.A

user:hadoop

 

store-serverB

ip:192.168.11.B

user:viewlog

 

需要在store-serverB上定时每天导数据到hadoop集群A；

 

在store-serverB上建立hadoop client。

在/home/viewlog下建立目录hadoop，用来存储hadoop client和jre；

mkdir -p /home/viewlog/hadoop

 

在集群A上某台server上，执行：

rsync -ra $HADOOP_HOME viewlog@192.168.11.B:/home/viewlog/hadoop/

viewlog@192.168.11.B 's password:

 

rsync -ra $JAVA_HOME viewlog@192.168.11.B:/home/viewlog/hadoop/

viewlog@192.168.11.B 's password:

 

换回到store-serverB，切换到/home/viewlog/hadoop/hadoop-0.20.2/conf/

由于执行/home/viewlog/hadoop/hadoop-0.20.2/bin/hadoop命令时会默认加载对应的conf目录下的配置文件，因此需要修改相应的配置文件，使store-serverB这台机器可以访问操作hdfs://192.168.11.A/，注意将一些store-serverB无法访问的配置文件里的hostname改为ip；

 

vi hadoop-env.sh

#修改

export JAVA_HOME=/home/viewlog/hadoop/jre1.6.0_20

 

vi hdfs-site.xml

<!-- 添加hadoop.job.ugi属性，指定用户和组 -->

        <property>

                <name>hadoop.job.ugi</name>

                <value>hadoop,supergroup</value>

        </property>

 

vi core-site.xml

<!-- 修改fs.default.name为可以telnet通的ip:port -->

  <property>

    <name>fs.default.name</name>

    <value>hdfs://192.168.11.A:54310</value>

  </property>

 

如果没有设置参数hadoop.job.ugi

/home/viewlog/hadoop/hadoop-0.20.2/bin/hadoop fs -mkdir testdir

会报错

mkdir: org.apache.hadoop.security.AccessControlException: Permission denied: user=viewlog, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x

 

/home/viewlog/hadoop/hadoop-0.20.2/bin/hadoop fs -ls

会报错

ls: Cannot access .: No such file or directory.

 

将配置文件调整好之后就可以新建crontab每天自动往hadoop集群A里面自动导入数据到HDFS里面。

/home/viewlog/hadoop/hadoop-0.20.2/bin/hadoop fs -mkdir arichive/$today

/home/viewlog/hadoop/hadoop-0.20.2/bin/hadoop fs -put /data/$today arichive/$today

 

将上面的命令加入到crontab即可。