windows安装hadoop

hadoop是什么就不多说了，看这里

hadoop推荐部署环境是在linux，但是我们想要在windows体验一下还是可以的，follow me

 

我的环境：windows xp，hadoop安装包(0.20.1) ，cygwin

 

 

打开cygwin

 

explorer .

 

把hadoop的包放到这个目录下

然后输入命令

 

  tar zxf hadoop-0.20.1.tar.gz

 

解压完成后进入hadoop-0.20.1的配置目录，打开core-site.xml，加入以下内容。这里是定义namenode运行地址和端口

 

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

 

打开hdfs-site.xml，加入以下内容

<property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

这里把复制因子设置为1是因为我们在windows上做伪分布，只能启动一个datanode

 

接下来可以定义namenode数据目录，和datanode数据目录。当然这个不是必须的，默认是在/tmp目录下面

 

<property>
  <name>dfs.name.dir</name>
  <value>c:/filesystem/name</value>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>c:/filesystem/data</value>
</property>

 最后修改hadoop-env.sh，把下面注释的这行打开，并设置为你的jdk路径。如果你的java在Program Files下，则整个jdk路径加引号

 

export JAVA_HOME=你的jdk路径

 

ok，在cygwin下进入bin目录,首先需要格式化namenode

 

./hadoop namenode -format

 

然后启动namenode

 

./hadoop namenode

 

再打开一个datanode，同样在bin目录下

 

./hadoop datanode

 

 

不出意外，你会看到

 

namenode

datanode

我们可以试一下上传文件

 

./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar

 

list一下

 

./hadoop fs -lsr /tt

 

结果：

 

-rw-r--r--   1 Administrator supergroup   20793970 2010-01-18 15:52 /tt/vm.rar

 

有兴趣的筒子可以去c:/filesystem/data/current看看哈：）

 

 过几天再记录一下hadoop mapreduce

评论

6 楼 lixhongwu 2013-02-02  

hyneng 写道

dapp66 写道

为什么我的提示：
./hadoop: line 258 c:\program: can not found

我的角度看路径没有错呀。而且也是在program files 文件夹下，也是用双引号括起来的。这是怎么搞的？

我也是这样的错

这个路径不能有空格，所以这个路径不对，你修改下路径，我之前也是这样的错误，我改了路径就ok了

5 楼 hyneng 2012-03-09  

dapp66 写道

为什么我的提示：
./hadoop: line 258 c:\program: can not found

我的角度看路径没有错呀。而且也是在program files 文件夹下，也是用双引号括起来的。这是怎么搞的？

我也是这样的错

4 楼 canli0011 2010-09-09  

canli0011 写道

当我执行./hadoop namenode -format时为啥会出现下面的错误提示，我的hadoop-env.sh中JAVA_HOME配置为：
export JAVA_HOME=/cygdrive/d/Java/jdk1.6.0_10。

出现的问题是：
/cygdrive/d/hadoop/bin/..conf/hadoop-env.sh:line 2:$'\r':command not found
......
......
/cygdrive/d/hadoop/bin/..conf/hadoop-env.sh:line 52:$'\r':command not found
/bin/java: No such file or directoryva/jdk1.6.0_10
/bin/java: No such file or directoryva/jdk1.6.0_10
/bin/java: cannot execute:NO such file or directory0_10
请指教…………

解决了：在conf/目录下执行“dos2unix hadoop-env.sh”就OK了。。

3 楼 canli0011 2010-09-07  

当我执行./hadoop namenode -format时为啥会出现下面的错误提示，我的hadoop-env.sh中JAVA_HOME配置为：
export JAVA_HOME=/cygdrive/d/Java/jdk1.6.0_10。

出现的问题是：
/cygdrive/d/hadoop/bin/..conf/hadoop-env.sh:line 2:$'\r':command not found
......
......
/cygdrive/d/hadoop/bin/..conf/hadoop-env.sh:line 52:$'\r':command not found
/bin/java: No such file or directoryva/jdk1.6.0_10
/bin/java: No such file or directoryva/jdk1.6.0_10
/bin/java: cannot execute:NO such file or directory0_10
请指教…………

2 楼 dapp66 2010-01-26  

为什么我的提示：
./hadoop: line 258 c:\program: can not found

我的角度看路径没有错呀。而且也是在program files 文件夹下，也是用双引号括起来的。这是怎么搞的？

1 楼 dapp66 2010-01-25  

看来只有我回复你呀。