`
badqiu
  • 浏览: 673920 次
  • 性别: Icon_minigender_1
  • 来自: 珠海
社区版块
存档分类
最新评论

扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统

    博客分类:
  • Java
阅读更多

使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.

 

1.Webdav协议介绍:
WebDAV(Web-based Distributed Authoring and Versioning)是基于 HTTP 1.1 的一个通信协议。它为 HTTP 1.1 添加了一些扩展(就是在 GET、POST、HEAD 等几个 HTTP 标准方法以外添加了一些新的方法),使得应用程序可以直接将文件写到 Web Server 上,并且在写文件时候可以对文件加锁,写完后对文件解锁,还可以支持对文件所做的版本控制。

2.项目介绍

本项目是一个hadoop namenode server的webdav协议访问代理,实现 client => hdfs-webdav proxy => hadoop namenode server的中间层. 项目修改自tomcat的WebdavServlet,实现了WebDAV level 2协议.

3.war部署

修改配置

修改hdfs-webdav.war里面的WEB-INF/classes/hadoop-site.xml

修改fs.default.name属性,以确定hdfs-webdav要连接的hadoop NameNode Server,示例:

<property>
   <name>fs.default.name</name>
   <value>hdfs://192.168.52.129:9000/</value>
   <description>namenode</description>
</property>

替换hadoop-xxxx-core.jar版本

由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.18.1-core.jar的版本

部署至tomcat

以上修改完,将war包部署至tomcat或是jboss中,部署在其它服务器中时需要tomcat的catalina.jar与tomcat-coyote.jar,拷贝至WEB-INF/lib目录,因为现在项目是从tomcat的WebdavServlet中修改而来的

测试是否部署成功

访问http://localhost:8080/hdfs-webdav

4.webdav客户端访问

实现webdav的hdfs可以映射为windows或是linux本地文件夹.

window网上邻居访问

打开“网上邻居”,添加网上邻居,在“请键入网上邻居的位置”中输入 Web 文件夹的 URL.

http://localhost:8080/hdfs-webdav

然后按照向导的提示继续下一步就可以了.

Linux mount WebDav为本地文件系统

linux下相要mount WebDAV server为本地文件系统,必须要使用davfs2,项目网址:http://dav.sourceforge.net/

安装davfs2请使用编译安装

davfs2编译时依赖于neon,neon是一个WebDAV client library. neon网址http://www.webdav.org/neon/

dsvfs2在mount时会使用fuse或是coda这两个文件系统,其中一个文件系统linux一般都有自带,davfs2在mount时会首先尝试使用fuse,失败时再使用coda

但在CentOs中使用coda时发生如下错误,所以后面安装fuse, fuse网址http://fuse.sourceforge.net/

/sbin/mount.davfs: no free coda device to mount
/sbin/mount.davfs: trying fuse kernel file system
/sbin/mount.davfs: can't open fuse device

neon,davfs2,fuse编译安装: 项目的linux_mount_lib目录已经自带了这三个包

1.运行./configure
2.运行make
3.运行make install

运行davfs2的mount命令

在mount之前,davfs2需要创建davfs2用户及用户组

[root@datacenter5 usr]# mkdir /data/hdfs
[root@datacenter5 usr]# groupadd davfs2
[root@datacenter5 usr]# useradd -g davfs2 davfs2
[root@datacenter5 usr]# mount.davfs http://192.168.55.104:8080/hdfs-webdav /data/hdfs
项目下载: http://hdfs-webdav.googlecode.com/files/hdfs-webdav.war
或是至项目网站下载: http://code.google.com/p/hdfs-webdav/downloads/list
7
1
分享到:
评论
7 楼 Liz0608 2012-08-03  
你好,这个项目能不能针对tomcat7进行一下修改?发现用tomcat7会有一些错误。
6 楼 alanhuaq 2011-08-08  
windows下可以使用了,谢谢分享。linux下还不太明白,LZ能不能说详细些呢?或者分享个参考链接?
5 楼 badqiu 2008-11-22  
chenlb 写道

hdfs-webdav.war, 下载不了

已经可以下载
4 楼 chenlb 2008-11-21  
hdfs-webdav.war, 下载不了
3 楼 badqiu 2008-11-19  
gqf2008 写道

楼主分享一下使用感受吧

hdfs的客户端访问还未成熟,其中的ftp,WebDav访问协议都还未实现.这个特性在hadoop jira中也正在处理之中.
2 楼 chenlb 2008-11-19  
不错, 
1 楼 gqf2008 2008-11-19  
楼主分享一下使用感受吧

相关推荐

Global site tag (gtag.js) - Google Analytics