hadoop2.5.2配置httpfs服务
测试环境
- ubuntu 14.04 单机
- hadoop2.5.2 伪分布式
- jdk1.7
作用
- 通过HttpFs你可以在浏览器里面管理HDFS上的文件,功能同hadoop shell相似
- HttpFs还提供了一套REST 风格的API可以用来管理HDFS
缺点
- 网络安全性
- 需要配置acl
修改core-site.xml
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>localhost</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
添加上述两个配置
hadoop.proxyuser.root.hosts
允许通过httpfs方式访问hdfs的主机名或者域名;hadoop.proxyuser.root.groups
允许访问的客户端的用户组
配置httpfs环境变量
export CATALINA_BASE=/opt/work/hadoop/share/hadoop/httpfs/tomcat
临时配置,也可以在配置文件配置环境变量
重启hadoop集群
root@localhost:/opt/nfs#/opt/work/hadoop/sbin//stop-all.sh
root@localhost:/opt/nfs#/opt/work/hadoop/sbin//start-all.sh
启动httpfs服务
root@localhost:/opt/git/hadoop_dev/hdfsToInfoBright# /opt/work/hadoop/sbin/httpfs.sh start
Setting HTTPFS_HOME: /opt/work/hadoop
Setting HTTPFS_CONFIG: /opt/work/hadoop/etc/hadoop
Sourcing: /opt/work/hadoop/etc/hadoop/httpfs-env.sh
Setting HTTPFS_LOG: /opt/work/hadoop/logs
Setting HTTPFS_TEMP: /opt/work/hadoop/temp
Setting HTTPFS_HTTP_PORT: 14000
Setting HTTPFS_ADMIN_PORT: 14001
Setting HTTPFS_HTTP_HOSTNAME: localhost
Setting HTTPFS_SSL_ENABLED: false
Setting HTTPFS_SSL_KEYSTORE_FILE: /root/.keystore
Setting HTTPFS_SSL_KEYSTORE_PASS: password
Using CATALINA_BASE: /opt/work/hadoop/share/hadoop/httpfs/tomcat/
Setting HTTPFS_CATALINA_HOME: /opt/work/hadoop/share/hadoop/httpfs/tomcat/
Setting CATALINA_OUT: /opt/work/hadoop/logs/httpfs-catalina.out
Setting CATALINA_PID: /tmp/httpfs.pid
Using CATALINA_OPTS:
Adding to CATALINA_OPTS: -Dhttpfs.home.dir=/opt/work/hadoop -Dhttpfs.config.dir=/opt/work/hadoop/etc/hadoop -Dhttpfs.log.dir=/opt/work/hadoop/logs -Dhttpfs.temp.dir=/opt/work/hadoop/temp -Dhttpfs.admin.port=14001 -Dhttpfs.http.port=14000 -Dhttpfs.http.hostname=localhost -Dhttpfs.ssl.enabled=false -Dhttpfs.ssl.keystore.file=/root/.keystore -Dhttpfs.ssl.keystore.pass=password
Using CATALINA_BASE: /opt/work/hadoop/share/hadoop/httpfs/tomcat/
Using CATALINA_HOME: /opt/work/hadoop/share/hadoop/httpfs/tomcat
Using CATALINA_TMPDIR: /opt/work/hadoop/share/hadoop/httpfs/tomcat//temp
Using JRE_HOME: /usr/local/jdk1.7.0
Using CLASSPATH: /opt/work/hadoop/share/hadoop/httpfs/tomcat//bin/tomcat-juli.jar:/opt/work/hadoop/share/hadoop/httpfs/tomcat/bin/bootstrap.jar
Using CATALINA_PID: /tmp/httpfs.pid
Existing PID file found during start.
Removing/clearing stale PID file.
root@localhost:/opt/git/hadoop_dev/hdfsToInfoBright#
并查看启动日志,并确定环境变量的正确
CATALINA_BASE
的值
浏览器访问httpfs
http://localhost:14000/
页面显示:HttpFs service, service base URL at /webhdfs/v1.
根目录为:/webhdfs/v1
curl访问httpfs
root@localhost:/opt/nfs# curl -i -X PUT -T /opt/test.json "http://localhost:14000/webhdfs/v1/tmp/test.json?op=CREATE&data=true&user.name=root" -H "Content-Type:application/octet-stream"
将文件上传到hdfs
http访问文件:
http://localhost:14000/webhdfs/v1/tmp/test.json?user.name=root&op=open
即可下载test.json文件
考虑
- httpfs的安全性
- httpfs的性能:httpfs是一个tomcat启动的web服务,当数据文件非常大,上传下载的性能将骤减
- httpfs的并发访问:tomcat的并发问题
相关推荐
标题 "eclipse开发hadoop2.5.2所用到的jar" 指的是在Eclipse中进行Hadoop 2.5.2开发时所需的特定版本的JAR文件集合。这些JAR文件通常包括以下几个部分: 1. Hadoop Common:这是Hadoop的基础模块,包含了一般用途的...
这个名为“hadoop-2.5.2.tar.gz”的压缩包文件包含了Hadoop 2.5.2版本的所有源代码、二进制文件、配置文件以及相关的文档资料。Hadoop 2.5.2是在Hadoop 2.x系列中的一个稳定版本,它引入了许多重要的改进和优化,以...
### hadoop2.5.2在Windows下的Eclipse环境搭建详解 #### 一、Hadoop简介 Hadoop是由Apache基金会所开发的一个开源分布式计算框架,主要用于处理和存储大规模数据集。它通过分布式文件系统(HDFS)和MapReduce编程...
hadoop 2.5.2 64位native包
- `hadoop-common`:包含Hadoop的通用工具和库,如网络通信、配置管理等。 - `hadoop-hdfs`:HDFS的实现,包括NameNode、DataNode、Client等组件的源码。 - `hadoop-mapreduce`:MapReduce框架的实现,包括...
hadoop2.5.2 + eclipse + win32位环境安装及开发环境搭建全套资源及说明 Hi:发帖目的是因为Hadoop开发环境搭建太麻烦了,涉及很多版本和工具组件的问题,自己也走了不少弯路,把资源集中一下,让大家少走弯路,也...
eclipse环境下集成hadoop2.5.2时候需要的jar包 ant已经编译好了的可以直接用
本文将详细介绍如何从零开始安装和部署Hadoop 2.5.2版本。以下是详细步骤: 1. **先决条件** 在开始Hadoop的安装之前,确保你有一台或多台Linux服务器(例如Ubuntu、CentOS等),并具备一定的Linux基础操作技能。...
用户可以通过解压此文件来获取Hadoop的相关文件,包括配置文件、可执行程序和库文件等,然后在本地或云端环境中部署和运行Hadoop集群。 总的来说,Hadoop 2.5.2是大数据处理领域的重要里程碑,它的出现推动了大数据...
以上知识点提供了一个从零开始搭建Hadoop2.5.2集群的完整流程,涵盖了从集群架构设计到安装测试的每一个关键步骤,为读者提供了一个清晰的安装和配置指南。尽管文章中有一部分通过OCR扫描产生的文字识别错误,但是...
网上百度的最高只有hadoop2.4的,于是自己想着也编译一版来,于是就基于hadoop2.5.2的源码在windows8 64位系统安装时自己编译的 包含 hadoop.dll hadoop.pdb hadoop.lib hadoop.exp winutils.exe winutils.pdb ...
这个名为“hadoop-2.5.2.zip”的压缩包文件提供了预配置的Hadoop 2.5.2环境,特别适用于在Linux操作系统上快速搭建Hadoop集群或进行大数据分析。 Hadoop 2.5.2是Hadoop发展中的一个重要版本,它包含了许多关键的...
在搭建Hadoop 2.5.2环境的过程中,选择CentOS作为操作系统是一个常见的选择,因为其稳定性和与开源软件的良好兼容性。以下是基于CentOS 7.0搭建Hadoop 2.5.2的详细步骤,以及涉及的相关知识点: 1. **系统准备**: ...
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
在Mac环境下,搭建Hadoop2.5.2的基本步骤包括安装Java环境,配置Hadoop的相关环境变量,如JAVA_HOME、HADOOP_HOME等,并确保Hadoop能够正常运行WordCount示例程序。同时,还需要安装ZooKeeper,因为ZooKeeper在...
Hadoop2.5.2搭建真分布式,利用三台虚拟机搭建的简单真分布式例子
Hadoop在win 7 x64的已编译文件,只包含windows下独有的文件。与官网hadoop.apache.org下的程序包合并使用,放于hadoop\bin文件夹下。 包含文件:hadoop.dll, hadoop.exp, hadoop.lib, hadoop.pdb, winutils.exe, ...
自己整理,亲测,已经安装了几遍,喜欢的可以下载看看,