hadoop hdfs tips

一、可以用网上的hdfs-webDav在windows机器上通过网上邻居防问hadoop的hdfs文件系统。步骤：
   1.下载hdfs-webdav.war，修改hdfs-webdev.war里面的WEB-INF/classes/hadoop-site.xml

修改fs.default.name属性,以确定hdfs-webdev要连接的hadoop NameNode Server,示例:

property>
   <name>fs.default.name</name>
   <value>hdfs://10.0.1.8:54310/</value>
   <description>namenode</description>
</property>

    2.替换hadoop-xxxx-core.jar版本
由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.17.2.1-core.jar的版本

    3.访问http://localhost:8080/hdfs-webdev

    4.打开“网上邻居”，添加网上邻居，在“请键入网上邻居的位置”中输入 Web 文件夹的 URL.

http://localhost:8080/hdfs-webdev

然后按照向导的提示继续下一步就可以了. 

----------------------------
通过以上设置，可以在网上邻居里查看hadfs的文件了，却不能上传，一上传就报错，
查来很久，原来是hadoop权限问题，在hadoop-site.xml里增加如下内容：

<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>

<property>
        <name>dfs.web.ugi</name>
        <value>hadoop,supergroup</value>
</property>

二、解决用webDav上传中文文件乱码问题。
    这主要由于hadoop是默认的是utf-8的格式，而windows是gbk的，所以要在转码，webDav是经过tomcat容器实现上传文件的，所以要在tomcat里将转码配制一下，即Ok了。






  

   

评论

1 楼 imcaptor 2009-02-06  

  3.访问http://localhost:8080/hdfs-webdev

应该修改成为：
3.访问http://localhost:8080/hdfs-webdav