hadoop

http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/

http://www.ibm.com/developerworks/cn/linux/l-hadoop-2/

http://www.ibm.com/developerworks/cn/linux/l-hadoop-3/

http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#FullyDistributed

http://www.cnblogs.com/wayne1017/archive/2007/03/20/678724.html

 

1. 部署测试, 3台机器，192.168.1.10为namenode，192.168.1.11/12为datanode

先配置好无密码ssh登录各个机器(包括本机)

 

下载hadoop-0.21.0.tar.gz, 解压到hadoop-0.21.0, 修改conf目录下的配置文件后拷贝到3台机器上

 

hadoop-env.sh

修改JAVA_HOME路径

 

core-site.xml

<configuration>

<property>

         <name>fs.default.name</name>

         <value>hdfs://192.168.1.10:9900</value>  <!-- datanode会连接这个地址 -->

   </property>

</configuration>

 

 

hdfs-site.xml

<configuration>

    <property>

         <name>dfs.replication</name>

         <value>2</value>  <!-- 文件复制数2 -->

    </property>

</configuration>

mapred-site.xml

<configuration>

    <property>

         <name>mapred.job.tracker</name>

         <value>192.168.1.10:9901</value>

     </property>

</configuration>

master

192.168.1.10

slaves

192.168.1.11

192.168.1.12

2. 在192.168.1.10启动服务

2.1 格式化namenode

bin/hadoop namenode -format

2.2 启动

bin/start-all.sh    //这个版本的stat-dfs.sh有BUG, 稍微修改一下可用

http://192.168.1.10:50070可以看到namenode的信息, live node应该有2个

有错误的话，可以看logs目录下的日志

3. 命令测试

bin/hadoop fs -ls

创建目录input

bin/hadoop fs -mkdir input

把当前目录下的拷贝的input目录

bin/hadoop fs -put README.txt input

bin/hadoop fs -ls input

显示文件内容

bin/hadoop fs -cat input/README.txt

执行字符个数统计map-reduce, 结果存放到output目录

bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount input output

4.java接口

4.1读写文件