`
1553482
  • 浏览: 7542 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
最近访客 更多访客>>
社区版块
存档分类
最新评论

centos fuse-dfs安装记录

 
阅读更多


1, 安装过程
参考http://wiki.apache.org/hadoop/MountableHDFS

http://savagegarden.iteye.com/blog/1170752
2, install ant 1.8
3, cd $HADOOP_HOME/common, 执行ant mvn-install
4, cd $HADOOP_HOME/hdfs, 执行ant compile-c++-libhdfs -Dlibhdfs=1 -Dcompile.c++=1 或ant compile -

Dcompile.c++=true -Dlibhdfs=true
5, 解决Hadoop0.21.0 HDFS/MapReduce编译错误(ivy-resolve-common does not find hadoop-common)
参考http://www.iteye.com/topic/1070647

6, 解决lib not found错误
参考http://blog.naver.com/PostView.nhn?blogId=wja30&logNo=100123240782

BUILD FAILED/home/cavc/hadoop-0.21.0/common/build.xml:407: The following error occurred while executing

this line:/home/cavc/hadoop-0.21.0/common/src/contrib/build.xml:30: The following error occurred while

executing this line:/home/cavc/hadoop-0.21.0/common/src/contrib/build-contrib.xml:137:

/home/cavc/hadoop-0.21.0/common/lib not found.

7, cd $HADOOP_HOME/hdfs, 执行ant package
8, 解决错误,
/root/hadoop-0.21.0/hdfs/build.xml:810: 'java5.home' is not defined.  Forrest requires Java 5.  Please

pass -Djava5.home=<base of Java 5 distribution> to Ant on the command-line.

参考http://www.hadoopor.com/viewthread.php?tid=941

9, 重新执行ant package,
ant package -Djava5.home=/root/dev/jdk1.5.0_22 -Dforrest.home=$FORREST_HOME

10,执行
ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1

11,
ln -s /root/hadoop-0.21.0/hdfs/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh /usr/local/bin
ln -s /root/hadoop-0.21.0/hdfs/build/contrib/fuse-dfs/fuse_dfs /usr/local/bin

mkdir /export/hdfs (or wherever you want to mount it)

fuse_dfs_wrapper.sh dfs://localhost:9000 /root/download/hdfs -d

and from another terminal, try ls /export/hdfs


1,下载linux内核源代码
yum -y install kernel-devel

2,下载fuse2.8.6
http://sourceforge.net/projects/fuse/files/fuse-2.X/2.8.6/

3,解决fuse--module fuse not found错误
参考http://morgan363.iteye.com/blog/757228,更新kernel



chmod +x /root/download/hadoop-0.21.0/hdfs/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh
chmod +x /root/download/hadoop-0.21.0/hdfs/build/contrib/fuse-dfs/fuse_dfs
ln -s /root/download/hadoop-0.21.0/hdfs/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh /usr/local/bin
ln -s /root/download/hadoop-0.21.0/hdfs/build/contrib/fuse-dfs/fuse_dfs /usr/local/bin/

分享到:
评论

相关推荐

    hadoop-fuse-dfs安装.docx

    ### Hadoop-Fuse-Dfs 安装与配置详解 #### 一、概述 本文档旨在为读者提供关于在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装和配置Hadoop-Fuse-Dfs的详细步骤及注意事项。通过本文档的学习,...

    如何编译fuse-dfs

    本文主要介绍在CentOS环境下如何编译fuse-dfs,包括环境准备、依赖包安装、环境变量设置、libhdfs与fuse-dfs的编译步骤以及最后的环境配置与hdfs的挂载。 #### 环境要求 - **操作系统**: CentOS - **工具需求**: ...

    fuse-ext2-0.0.7

    在使用fuse-ext2-0.0.7时,用户需要先安装FUSE库,然后下载并编译该软件。编译完成后,可以通过命令行工具将EXT2或NTFS分区挂载到Linux文件系统中。例如,使用以下命令挂载一个NTFS分区: ```bash sudo mount -t ...

    CentOS-7-aarch64-Everything-2009.part01.rar

    CentOS 7.9版本(CentOS-7-aarch64-Everything-2009)适用于ARM64 (aarch64),必须集齐9个文件才能一起解压缩使用,9个文件下载地址: CentOS-7-aarch64-Everything-2009.part09.rar ... CentOS-7-aarch64-Everything-...

    fuse-2.8.0.tar.gz

    2. **安装FUSE库**:接下来,安装FUSE相关的库和依赖。 - Debian/Ubuntu: `sudo apt-get install libfuse2 fuse-utils` - Fedora/CentOS: `sudo yum install fuse fuse-libs` 3. **权限配置**:FUSE需要特殊权限...

    fuse-2.7.1.tar.gz

    4. **安装**:使用`sudo make install`将编译好的FUSE安装到系统中。 5. **启用FUSE**:修改系统配置,通常是在`/etc/fuse.conf`文件中,取消`user_allow_other`行的注释,允许非root用户使用FUSE。 6. **重启或加载...

    Centos7镜像-百度网盘下载链接

    CentOS-7.2-x86_64-DVD-1511 CentOS-7.3-x86_64-DVD-1611 CentOS-7.4-x86_64-DVD-1708 CentOS-7.5-x86_64-DVD-1804 CentOS-7.6-aarch64-Everything-1810 CentOS-7.6-x86_64-DVD-1810 CentOS-7.7-x86_64-DVD-1908 ...

    CentOS-7-x86_64-DVD-2003镜像文件

    # CentOS-7-x86_64-DVD-1810.iso CentOS 7.6 DVD 版 4G http://mirrors.163.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso # CentOS-7-x86_64-Everything-1810.iso CentOS 7.6 Everything版 10G ...

    CentOS-7-aarch64-Everything-2009.part02.rar

    CentOS 7.9版本(CentOS-7-aarch64-Everything-2009)适用于ARM64 (aarch64),必须集齐9个文件才能一起解压缩使用,9个文件下载地址: CentOS-7-aarch64-Everything-2009.part09.rar ... CentOS-7-aarch64-Everything-...

    rtl8192EU-Centos7-master.zip

    在Linux系统中,尤其是CentOS这样的企业级操作系统中,安装和管理硬件驱动有时会成为一项挑战,特别是对于非开源或不被默认支持的硬件。在本案例中,我们关注的是"rtl8192EU-Centos7-master.zip"这个压缩包,它包含...

    CentOS---安装JDK.md

    CentOS---安装JDK.md

    CentOS-7-i386-Everything-2009.part08.rar

    CentOS 7.9版本(CentOS-7-i386-Everything-2009)适用于i386,必须集齐9个文件才能一起解压缩使用,9个文件下载地址: CentOS-7-i386-Everything-2009.part09.rar ... CentOS-7-i386-Everything-2009.part08.rar ...

    centos7.9-xrdp.zip

    安装教程链接指向了CSDN博客文章,详细阐述了在CentOS 7.9上配置和使用xrdp的步骤。 【标签】"xrdp"是远程桌面协议的开源实现,它使得Linux系统能够接受并处理RDP连接请求。"centos7"指的是这个解决方案适用于...

    centos-release-scl-rh-2-3.el7.centos.noarch.rpm.zip

    压缩包含centos-release-scl-rh-2-3.el7.centos.noarch.rpm和centos-release-scl-2-3.el7.centos.noarch.rpm,主要用于centos7的gcc安装

    pgdg-centos96-9.6-3.noarch

    pgdg-centos96-9.6-3.noarch postgresql的依赖包postgresql的依赖包

    cenos fuse-exfat

    标题中的“cenos fuse-exfat”指的是在CentOS操作系统中使用fuse-exfat工具来支持exFAT文件系统。exFAT是一种由微软开发的文件系统,适用于大容量存储设备,如U盘和移动硬盘,因为它能处理大于4GB的单个文件。在...

    HDP-GPL-3.1.4.0-centos7-gpl.tar.gz

    标题 "HDP-GPL-3.1.4.0-centos7-gpl.tar.gz" 提供的信息表明,这是一个与HDP(Hortonworks Data Platform)相关的开源版本,版本号为3.1.4.0,是为CentOS 7操作系统设计的。HDP是一个基于Apache Hadoop的全面数据平台...

    CentOS-7-x86_64-DVD-2009.part5.rar

    CentOS 7.9版本(CentOS-7-x86_64-DVD-2009)必须集齐五个文件才能一起解压缩使用,五个文件下载地址: CentOS-7-x86_64-DVD-2009.part5.rar https://download.csdn.net/download/weixin_43800734/20388029 CentOS...

    CentOS-7-i386-Everything-2009.part09.rar

    CentOS 7.9版本(CentOS-7-i386-Everything-2009)适用于i386,必须集齐9个文件才能一起解压缩使用,9个文件下载地址: CentOS-7-i386-Everything-2009.part09.rar ... CentOS-7-i386-Everything-2009.part08.rar ...

    CentOS-7-aarch64-Everything-2009.part08.rar

    CentOS 7.9版本(CentOS-7-aarch64-Everything-2009)适用于ARM64 (aarch64),必须集齐9个文件才能一起解压缩使用,9个文件下载地址: CentOS-7-aarch64-Everything-2009.part09.rar ... CentOS-7-aarch64-Everything-...

Global site tag (gtag.js) - Google Analytics