`
SavageGarden
  • 浏览: 223156 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

使用Fuse挂载HDFS

 
阅读更多

前提,已经安装好hadoop集群


1. 安装fuse
    这里可以编译安装或yum安装
   

yum install fuse fuse-libs fuse-devel
 


2. 安装ant
    使用yum安装
   

yum install ant
 


3. 添加系统配置

    vi /etc/profile , 视自己的实际情况进行设置
   

export OS_ARCH=amd64
export OS_BIT=64
export JAVA_HOME=/usr/java/jdk1.6.0_26
export CLASSPATH=,:$JAVA_HOME/lib
export HADOOP_HOME=/usr/local/hadoop-0.20.2
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib
source /etc/profile
 


4. 进行编译

   

cd $HADOOP_HOME
ant compile-c++-libhdfs -Dlibhdfs=1 -Dcompile.c++=1
ln -s c++/Linux-$OS_ARCH-$OS_BIT/lib build/libhdfs
ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1
 


5. 测试
    启动hadoop集群后,
   

mkdir /mnt/dfs
cd $HADOOP_HOME/build/contrib/fuse-dfs
./fuse_dfs_wrapper.sh dfs://namenode:9000 /mnt/dfs/
ls /mnt/dfs/
 
0
2
分享到:
评论

相关推荐

    hdfs-mount:将HDFS挂载为本地Linux文件系统的工具

    使用协议缓冲区直接为FUSE和HDFS连接Linux内核(不需要JavaVM) 针对吞吐量密集型工作负载进行了设计和优化(在可能的情况下,将吞吐量交换为延迟) 完整的流媒体和自动预读支持 并发操作 内存中元数据缓存(非常...

    fuse编译方法

    - 使用该可执行文件,如示例所示`fuse_dfs hdfs://com.inspur.cc1:8020/zrm /mnt/dfs`,将HDFS的`zrm`目录挂载到本地的`/mnt/dfs`路径上。 这个过程完成后,用户就可以通过标准的Linux文件系统操作与HDFS进行交互...

    hadoop-fuse-dfs安装.docx

    #### 三、挂载HDFS 1. **挂载前的准备**: - 确保待挂载的本地目录的用户和用户组与HDFS上的对应目录的用户和用户组一致; - 如果HDFS启用了Kerberos认证机制,则需要先执行`kinit`命令进行认证。 2. **挂载命令...

    如何编译fuse-dfs

    #### 挂载HDFS 完成上述步骤后,就可以将HDFS挂载到本地文件系统上了。 1. 进入`$HADOOP_HOME/build/contrib/fuse_dfs`目录。 2. 执行挂载命令。 ```bash ./fuse_dfs_wrapper.sh dfs://namenodeIP地址:9000/mnt/...

    HDFS CSI插件加速大数据集群中的Kubernetes.pptx

    2. HDFS FUSE:通过FUSE(用户空间文件系统)在Kubernetes节点上挂载HDFS,但性能可能受限。 3. HDFS CSI基于NFS网关:利用NFS网关,通过CSI提供HDFS存储,增加了Kubernetes的兼容性。 4. Ozone CSI:Ozone是Hadoop...

    5-1+如何让Ozone成为HDFS的下一代分布式存储系统.pdf

    Ozone引入了HCFS API,使得它可以与大数据生态无缝集成,同时提供了S3 Gateway(S3G)以支持S3 API,Goofys用于FUSE挂载,以及Ozone-CSI支持Kubernetes的挂载。这使得Ozone不仅适用于传统的Hadoop应用,还能对接云...

    結合雲端分散儲存與Nutch搜尋引擎之影音網站

    Hadoop通过FUSE挂载HDFS到用户空间中,实现对HDFS文件夹的访问。 #### 六、系统架构与云架构设计 - **系统架构**:从底层硬件设施到顶层应用层面,依次为物理环境、Linux操作系统、Tomcat/Lighttpd Web服务器、...

    基于FUSE的云数据访问与存储优化研究1

    FUSE技术是Linux系统中的一项重要技术,它允许用户空间程序挂载文件系统,无需修改内核代码。FUSE的引入,不仅降低了文件系统开发的难度,还提供了更高的灵活性和扩展性。论文作者正是基于FUSE技术的这些特性,针对...

    使用开源分布式存储系统Alluxio来有效的分离计算与存储.pdf

    在性能和速度方面,Alluxio通过其服务器端API转换功能,将客户端接口转换为原生存储接口,包括HDFS API、S3 API、FUSE HDFS API、Google Cloud API以及Swift API等。Alluxio的这种转换能力不仅包括不同存储系统接口...

    2011计算机峰会资料

    - **下载服务器配置**:每台下载服务器都配置有Nginx作为反向代理、FUSE用于文件系统的挂载、DataNode负责数据存储。硬件方面,每台服务器配备12块SATA硬盘(未使用RAID卡),并配有3块网卡(两外网、一内网)。 ##...

    开源项目-chrislusf-seaweedfs.zip

    部署完成后,可以通过curl命令测试API,或者使用FUSE将seaweedFS挂载到本地文件系统。 **五、应用场景** seaweedFS广泛应用于需要高效存储和检索大量小文件的场景,如社交媒体平台的图片和视频存储、物联网设备的...

    Hadoop Operations (2012.9)

    - **FUSE支持**:通过FUSE(Filesystem in Userspace)技术,可以直接将HDFS挂载到本地文件系统中使用。 - **REST API**:提供了RESTful API,使得非Java应用程序也能轻松地与HDFS交互。 #### 三、MapReduce编程...

    SeaweedFS 架构说明文档 英文版

    - 将File Storage挂载到客户端用户空间,支持常见的FUSE挂载和Kubernetes持久卷。 5. **Object Storage**: - 对象存储功能,兼容S3接口,用于存储大对象和大数据应用。 6. **Hadoop Compatible File System**...

    JuiceFS产品介绍和客户案例.pdf

    客户端可以通过FUSE(文件系统用户空间)或SDK来访问JuiceFS,实现文件系统的挂载和应用集成。 JuiceFS产品的优势在于其灵活性、性能、高可用性、无容量规划需求、跨云复制、数据安全性以及高性价比。具体而言,它...

    开源分布式文件系统比较.docx

    GlusterFS同样支持FUSE(Filesystem in Userspace),使得非root用户也能挂载文件系统。然而,在实际性能测试中,GlusterFS可能无法满足所有生产环境的高吞吐量需求。在进行大量读写操作时,其性能可能在5MB/s左右,...

    FastDFS 分布式存储 实战

    它支持原生API、HTTP等多种通讯协议,也可以通过FUSE挂载进行文件系统访问,但是需要注意的是FastDFS本身不支持POSIX标准。 与其他分布式存储系统相比,如TFS、HDFS、MogileFS、Ceph等,FastDFS具有独特的特点和...

    大数据云计算技术 暴风集团基于hadoop的数据平台总体架构简介(共18页).ppt

    此外,Hadoop还提供了多种数据访问接口,如Hive(类似MySQL的数据仓库)、Pig(数据流编程语言)和FUSE(将HDFS挂载为本地文件系统),增强了数据处理的灵活性。 3. **HLoad**: 这个程序主要用于将日志文件复制到...

    CCTC 2016 百度王耀-百度的分布式文件系统之路

    - 此外,使用fuse进行调参以提高系统的性能和稳定性也是百度采取的策略之一。 ***DB-NFS的多租户支持 - CCDB-NFS支持通过User和Region进行多租户管理,提供ACL(访问控制列表)和Quota(配额限制)来实现权限隔离...

Global site tag (gtag.js) - Google Analytics