`

hadoop2.5.2配置httpfs服务

阅读更多

hadoop2.5.2配置httpfs服务

 

httpfs hadoop hdfs

 

测试环境

  • ubuntu 14.04 单机
  • hadoop2.5.2 伪分布式
  • jdk1.7

作用

  • 通过HttpFs你可以在浏览器里面管理HDFS上的文件,功能同hadoop shell相似
  • HttpFs还提供了一套REST 风格的API可以用来管理HDFS

缺点

  • 网络安全性
  • 需要配置acl

修改core-site.xml

 
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>localhost</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

添加上述两个配置hadoop.proxyuser.root.hosts允许通过httpfs方式访问hdfs的主机名或者域名;hadoop.proxyuser.root.groups允许访问的客户端的用户组

配置httpfs环境变量

 
export CATALINA_BASE=/opt/work/hadoop/share/hadoop/httpfs/tomcat

临时配置,也可以在配置文件配置环境变量

重启hadoop集群

 
root@localhost:/opt/nfs#/opt/work/hadoop/sbin//stop-all.sh 
root@localhost:/opt/nfs#/opt/work/hadoop/sbin//start-all.sh 

启动httpfs服务

 
root@localhost:/opt/git/hadoop_dev/hdfsToInfoBright# /opt/work/hadoop/sbin/httpfs.sh start

Setting HTTPFS_HOME:          /opt/work/hadoop
Setting HTTPFS_CONFIG:        /opt/work/hadoop/etc/hadoop
Sourcing:                    /opt/work/hadoop/etc/hadoop/httpfs-env.sh
Setting HTTPFS_LOG:           /opt/work/hadoop/logs
Setting HTTPFS_TEMP:           /opt/work/hadoop/temp
Setting HTTPFS_HTTP_PORT:     14000
Setting HTTPFS_ADMIN_PORT:     14001
Setting HTTPFS_HTTP_HOSTNAME: localhost
Setting HTTPFS_SSL_ENABLED: false
Setting HTTPFS_SSL_KEYSTORE_FILE:     /root/.keystore
Setting HTTPFS_SSL_KEYSTORE_PASS:     password
Using   CATALINA_BASE:       /opt/work/hadoop/share/hadoop/httpfs/tomcat/
Setting HTTPFS_CATALINA_HOME:       /opt/work/hadoop/share/hadoop/httpfs/tomcat/
Setting CATALINA_OUT:        /opt/work/hadoop/logs/httpfs-catalina.out
Setting CATALINA_PID:        /tmp/httpfs.pid

Using   CATALINA_OPTS:       
Adding to CATALINA_OPTS:     -Dhttpfs.home.dir=/opt/work/hadoop -Dhttpfs.config.dir=/opt/work/hadoop/etc/hadoop -Dhttpfs.log.dir=/opt/work/hadoop/logs -Dhttpfs.temp.dir=/opt/work/hadoop/temp -Dhttpfs.admin.port=14001 -Dhttpfs.http.port=14000 -Dhttpfs.http.hostname=localhost -Dhttpfs.ssl.enabled=false -Dhttpfs.ssl.keystore.file=/root/.keystore -Dhttpfs.ssl.keystore.pass=password
Using CATALINA_BASE:   /opt/work/hadoop/share/hadoop/httpfs/tomcat/
Using CATALINA_HOME:   /opt/work/hadoop/share/hadoop/httpfs/tomcat
Using CATALINA_TMPDIR: /opt/work/hadoop/share/hadoop/httpfs/tomcat//temp
Using JRE_HOME:        /usr/local/jdk1.7.0
Using CLASSPATH:       /opt/work/hadoop/share/hadoop/httpfs/tomcat//bin/tomcat-juli.jar:/opt/work/hadoop/share/hadoop/httpfs/tomcat/bin/bootstrap.jar
Using CATALINA_PID:    /tmp/httpfs.pid
Existing PID file found during start.
Removing/clearing stale PID file.
root@localhost:/opt/git/hadoop_dev/hdfsToInfoBright# 

并查看启动日志,并确定环境变量的正确CATALINA_BASE的值

浏览器访问httpfs

http://localhost:14000/ 
页面显示:HttpFs service, service base URL at /webhdfs/v1. 根目录为:/webhdfs/v1

curl访问httpfs

 
root@localhost:/opt/nfs# curl -i -X PUT -T /opt/test.json "http://localhost:14000/webhdfs/v1/tmp/test.json?op=CREATE&data=true&user.name=root" -H "Content-Type:application/octet-stream"

将文件上传到hdfs 
http访问文件: 
http://localhost:14000/webhdfs/v1/tmp/test.json?user.name=root&op=open 
即可下载test.json文件

考虑

  • httpfs的安全性
  • httpfs的性能:httpfs是一个tomcat启动的web服务,当数据文件非常大,上传下载的性能将骤减
  • httpfs的并发访问:tomcat的并发问题

参考文献

分享到:
评论
2 楼 duguyiren3476 2015-08-06  
确实不怎么快,httpfs的上传你可以理解为普通的httpupload,影响的因素很多:网络IO,磁盘IO等因素
1 楼 风过有声 2015-07-19  
你好,能问一个问题吗,我最近页也试用了一下httpfs,发现一个问题,上传文件的速度实在是有点慢,不知道你有没有遇到过这种问题?谢谢

相关推荐

    eclipse开发hadoop2.5.2所用到都jar

    标题 "eclipse开发hadoop2.5.2所用到的jar" 指的是在Eclipse中进行Hadoop 2.5.2开发时所需的特定版本的JAR文件集合。这些JAR文件通常包括以下几个部分: 1. Hadoop Common:这是Hadoop的基础模块,包含了一般用途的...

    hadoop-2.5.2.tar.gz

    这个名为“hadoop-2.5.2.tar.gz”的压缩包文件包含了Hadoop 2.5.2版本的所有源代码、二进制文件、配置文件以及相关的文档资料。Hadoop 2.5.2是在Hadoop 2.x系列中的一个稳定版本,它引入了许多重要的改进和优化,以...

    hadoop2.5.2window下eclipse环境搭建

    ### hadoop2.5.2在Windows下的Eclipse环境搭建详解 #### 一、Hadoop简介 Hadoop是由Apache基金会所开发的一个开源分布式计算框架,主要用于处理和存储大规模数据集。它通过分布式文件系统(HDFS)和MapReduce编程...

    hadoop 2.5.2 64位native包

    hadoop 2.5.2 64位native包

    hadoop 2.5.2 源码

    - `hadoop-common`:包含Hadoop的通用工具和库,如网络通信、配置管理等。 - `hadoop-hdfs`:HDFS的实现,包括NameNode、DataNode、Client等组件的源码。 - `hadoop-mapreduce`:MapReduce框架的实现,包括...

    hadoop2.5.2 +eclipse +win32位环境安装全套资源及说明

    hadoop2.5.2 + eclipse + win32位环境安装及开发环境搭建全套资源及说明 Hi:发帖目的是因为Hadoop开发环境搭建太麻烦了,涉及很多版本和工具组件的问题,自己也走了不少弯路,把资源集中一下,让大家少走弯路,也...

    hadoop2.5.2插件

    eclipse环境下集成hadoop2.5.2时候需要的jar包 ant已经编译好了的可以直接用

    Hadoop 2.5.2安装和部署

    本文将详细介绍如何从零开始安装和部署Hadoop 2.5.2版本。以下是详细步骤: 1. **先决条件** 在开始Hadoop的安装之前,确保你有一台或多台Linux服务器(例如Ubuntu、CentOS等),并具备一定的Linux基础操作技能。...

    hadoop-2.5.2

    用户可以通过解压此文件来获取Hadoop的相关文件,包括配置文件、可执行程序和库文件等,然后在本地或云端环境中部署和运行Hadoop集群。 总的来说,Hadoop 2.5.2是大数据处理领域的重要里程碑,它的出现推动了大数据...

    Hadoop2.5.2集群安装

    以上知识点提供了一个从零开始搭建Hadoop2.5.2集群的完整流程,涵盖了从集群架构设计到安装测试的每一个关键步骤,为读者提供了一个清晰的安装和配置指南。尽管文章中有一部分通过OCR扫描产生的文字识别错误,但是...

    windows64位平台的hadoop2.5.2插件包(hadoop.dll,winutils.exe)

    网上百度的最高只有hadoop2.4的,于是自己想着也编译一版来,于是就基于hadoop2.5.2的源码在windows8 64位系统安装时自己编译的 包含 hadoop.dll hadoop.pdb hadoop.lib hadoop.exp winutils.exe winutils.pdb ...

    hadoop-2.5.2.zip

    这个名为“hadoop-2.5.2.zip”的压缩包文件提供了预配置的Hadoop 2.5.2环境,特别适用于在Linux操作系统上快速搭建Hadoop集群或进行大数据分析。 Hadoop 2.5.2是Hadoop发展中的一个重要版本,它包含了许多关键的...

    CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码

    在搭建Hadoop 2.5.2环境的过程中,选择CentOS作为操作系统是一个常见的选择,因为其稳定性和与开源软件的良好兼容性。以下是基于CentOS 7.0搭建Hadoop 2.5.2的详细步骤,以及涉及的相关知识点: 1. **系统准备**: ...

    2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程

    2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创

    Hadoop2.5.2+Sqoop-1.4.6

    在Mac环境下,搭建Hadoop2.5.2的基本步骤包括安装Java环境,配置Hadoop的相关环境变量,如JAVA_HOME、HADOOP_HOME等,并确保Hadoop能够正常运行WordCount示例程序。同时,还需要安装ZooKeeper,因为ZooKeeper在...

    Hadoop2.5.2搭建真分布式

    Hadoop2.5.2搭建真分布式,利用三台虚拟机搭建的简单真分布式例子

    Hadoop 2.5.2 windows

    Hadoop在win 7 x64的已编译文件,只包含windows下独有的文件。与官网hadoop.apache.org下的程序包合并使用,放于hadoop\bin文件夹下。 包含文件:hadoop.dll, hadoop.exp, hadoop.lib, hadoop.pdb, winutils.exe, ...

    hadoop 2.5.2安装配置文档教程

    自己整理,亲测,已经安装了几遍,喜欢的可以下载看看,

Global site tag (gtag.js) - Google Analytics