hadoop应用之安装篇
hadoop 分布式文件系统安装——For FreeBSD7 (初稿20080228_Rhinux)
感谢:首先感谢我的女朋友在我加班测试系统的时候,是她在自己下班后依然做好饭在家里等我回去一起吃。感谢目前效力的公司提供给我环境测试。
零,声明:本文档为原创作品可以用在非商业用途的引用,引用时请注明著者,并保持文章的完整非修改性,如对内容有异议请联系我:rhinux#sina.com。
一,概述
是否磁盘不够大,虽然有15k的sas是否仍然感觉磁盘效率不够快,是否担心由于硬件局限数据不够安全,是否觉得商业化的存储方案价格太高。
现在为你介绍apache基金会推出的一款分布式文件系统,一款yahoo鼎力支持的文件系统。一个可以运行几千个节点的分布式文件系统。相信他就是你要的。
1安装软件版本
freebsd: 7 rc3[新装系统请采用freebsd7 正式发行版]
hadoop:0.16.0
jdk: 1.5.0
OpenSSH: 4.5p1
rsync: 2.6.9
2,服务器硬件环境 2台 x86 计算机(作为安装测试1-2台机器已经足够,如果作为性能测试考虑设备的硬件性能)
3,hadoop描述
Hadoop包括HDFS(Hadoop Distributed File System--Hadoop分布式文件系统)和MapReduce一种集约编程模型
以HDFS视角来看节点分为Namenode和Datanode,其中Namenode是唯一的,Datanode可以是多个,Namenode可以兼Datanode;
以MapReduce视角来看又分为Jobtracker和Tasktracker,其中Jobtracker只有一个,Tasktracker可以是多个同样Jobtracker可以兼Tasktracker。更多请参考官网介绍
本测试中namenode和jobtracker部署在freebsd7test1.rhinux.com上,datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com
二,os及环境配置
1,安装jdk1.5
#cd /usr/ports/java/jdk15
# make install clean
按照要求和提示下载好对应的包,如果找不到旧版本的依赖包请现updata ports 后再下载最新安装包
# portsnap fetch update
# portsnap extract
2,安装rsync,bash,ssh
a, #cd /usr/ports/net/rsync
#make install clean
b, #cd /usr/ports/shells/bash //一般Linux默认已经安装好bash所以可以省略这一步
#make install clean
c, freebsd7 默认OpenSSH_4.5p1
3,系统配置
a, 本次配置使用2台服务器分别为
freebsd7test1.rhinux.com 172.16.27.81 (用在namenode由于本次测试只有2台机器所以兼datanode,但实际生产环境中不推荐兼datanode)
freebsd7test2.rhinux.com 172.16.27.82 (用在datanode)
b,配置服务器的hosts文件使namenode能够通过域名(freebsd7test2和freebsd7test2.rhinux.com)访问到所有的datanode(如果namenode兼datanode也需要通过域名访问到自己),
所有的datanode也能通过域名访问到namenode
c,示例
==========================/etc/hosts===========================================
::1 localhost localhost.rhinux.com
127.0.0.1 localhost localhost.rhinux.com
172.16.27.82 freebsd7test2.rhinux.com freebsd7test2
172.16.27.81 freebsd7test1.rhinux.com freebsd7test1
======================172.16.27.82(namenode & datanode)=======================
4,OS配置按原标准安装,测试阶段 /services目录分区文件系统使用ZFS (文件系统请选择自己喜欢的目前测试下来Freebsd7的ZFS并不稳定)
三,安装测试hadoop系统
1添加用户(所有namenode和datanode需要使用相同的用户名,所有的信息传输需要用户认证)
freebsd7test1# adduser
Username: rhinuxdoop
Full name:
Uid (Leave empty for default):
Login group [rhinuxdoop]:
Login group is rhinuxdoop. Invite rhinuxdoop into other groups? []:
Login class [default]:
Shell (sh csh tcsh bash rbash nologin) [sh]: bash //注意最好使用bash,其实程序运行的时候会自动指定shell环境
Home directory [/home/rhinuxdoop]: /services/rhinuxdoop
客户端必须是和服务端同样的用户名
2,hadoop需要使用rsync+ssh同步状态和数据,需要无需输入密码就可访问,所以设置用密钥认证
a, 生产密钥对(用添加的用户操作本例用户为rhinuxdoop)
[rhinuxdoop@freebsd7test1 ~]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
默认在~/.ssh/下
b, 在本机用户中添加
[rhinuxdoop@freebsd7test1 ~]$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
c, 添加到其他datanode
将namenode rhinuxdoop用户目录下.ssh/id_rsa.pub文件内容导入其他datanode
[rhinuxdoop@freebsd7test2 ~]$cat id_dsa.pub >> ~/.ssh/authorized_keys
d,测试:用rhinuxdoop在namenode上登陆 让后ssh到所有的datanode(本例中包括自己机器)
应该无需密码就可以登陆
3, 下载hddoop
a,去[url=http://hadoop.apache.org/core/]http://hadoop.apache.org/core/[/url]下载最新版本 hadoop目前为0.16.0 版
b,解压hadoop-0.16.0.tar.gz 到用户目录 /services/rhinuxdoop/
[rhinuxdoop@freebsd7test1 ~]$ tar zxvf hadoop-0.16.0.tar.gz .
4, hadoop-0.16.0目录结构说明:
a, bin 存放脚本程序,
比如主控制程序hadoop,
启动脚本 start-all.sh--启动所有hadoop进程 start-dfs.sh--启动DFS进程 start-mapred.sh启动MAP/Reduce进程
停止脚本 stop-all.sh stop-dfs.sh stop-mapred.sh
b,conf 配置文件目录,
环境配置文件 hadoop-env.sh 可以配置环境变量,比如JAVA_HOME已经系统默认等。
默认配置文件 hadoop-default.xml 此文件不能修改需要设置参数请修改 hadoop-site.xml
自定义配置文件 hadoop-site.xml 此文件可以自定义配置,出现在该文件中的配置项,系统将自动取代默认配置文件 hadoop-default.xml中的配置项
namenode指定文件 masters 此文件来指定master(namenode)机器名
datanode指定文件 slaves 此文件来指定slave(datanode)机器列表,每台机器名占一行
c,log 目录
默认日志存放目录
d,各配置文件具体参数说明和研究下一个版本中给出。
5,hadoop配置(freebsd7test1):
a,建立namenode存储目录及数据目录
[rhinuxdoop@freebsd7test1 ~]$mkdir -p /services/rhinuxdoop/hadoop-0.16.0/filesystem/name
[rhinuxdoop@freebsd7test1 ~]$mkdir -p /services/rhinuxdoop/hadoop-0.16.0/filesystem/data
b,配置环境变量,编辑./conf/hadoop-env.sh
===============hadoop-env.sh====================
export JAVA_HOME=/usr/local/jdk1.5.0
#至少要设置JAVA_HOME,另外也可以设置HADOOP_HOME-系统目录,HADOOP_HOME默认为bin目录的父目录
=================================================
c,配置hadoop-site.xml(关于可配置项已经各配置项的说明可以参考hadoop-default.xml)
配置项格式为
io.file.buffer.size
4096
The size of buffer for use in sequence files.
The size of this buffer should probably be a multiple of hardware
page size (4096 on Intel x86), and it determines how much data is
buffered during read and write operations.
配置项名字
配置项的值
配置项的说明此文字只是帮助人理解用.
==================hadoop-site.xml=====================
fs.default.name
freebsd7test1:9000
mapred.job.tracker
freebsd7test1:9001
dfs.name.dir
/services/rhinuxdoop/hadoop-0.16.0/filesystem/name
dfs.data.dir
/services/rhinuxdoop/hadoop-0.16.0/filesystem/data
===============================================================
d,配置编辑conf/masters ,conf/slaves
====================conf/masters==========================
freebsd7test1
==========================================================
====================conf/slaves===========================
freebsd7test1
freebsd7test2
==========================================================
e,格式化namenode
[rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop namenode -format
无报错既可
基本配置已完成
6,hadoop配置(freebsd7test2及其他datanode)
a,其他datanode必须保持namenode相同的目录结构所以把namenode目录复制过去
[rhinuxdoop@freebsd7test1 ~]$ scp -r hadoop-0.16.0 172.16.27.82:/services/rhinuxdoop/
7,启动hadoop
[rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/start-all.sh
此时会告知日志记录的目录和文件名,日志记录基本可以在hadoop-site.xml中设定默认在hadoop-default.xml中设置为info
8,查看和测试。
a,系统开启9000和9001端口分别为dfs的namenode和mapreduce的jobtracke监听口。
b,查看datanode状态: [rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop dfsadmin -report
可以看到各点的状态
c,存放文件:[rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop fs -put /home/xuyunfeng/tzupdater-1.3.3-2007k.zip tzupdater-1.3.3-2007k.zip
将在本地系统目录的/home/xuyunfeng/tzupdater-1.3.3-2007k.zip存入hadoop文件系统根目录中。
d,查看hadoop文件系统目录 [rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop fs -ls
/user/rhinuxdoop/diablo-caffe-freebsd6-i386-1.5.0_07-b01.tar.bz2 54347274 2008-02-28 10:57 rw-r--r-- rhinuxdoop supergroup
/user/rhinuxdoop/tzupdater-1.3.3-2007k.zip 263715 2008-02-28 16:16 rw-r--r-- rhinuxdoop supergroup
e,更多hadoop文件系统 命令操作请参考手册
f,api调用测试后续
g,可以通过web形式去浏览 NameNode和 JobTracker,默认端口为:
* NameNode - [url=http://freebsd7test1.rhinux.com:50070/]http://freebsd7test1.rhinux.com:50070[/url]
* JobTracker - [url=http://freebsd7test1.rhinux.com:50030/]http://freebsd7test1.rhinux.com:50030[/url]
*需要在浏览的机器上配置好hosts。
四,操作系统优化和hadoop优化。
以上的配置受硬件条件影响效率相对比较低,等之后关于性能测试和优化方面的文章时我会给出测试的硬件环境和推荐配置。
待补中
五,参考资料
[url=http://hadoop.apache.org/core/docs/r0.16.0/index.html]http://hadoop.apache.org/core/docs/r0.16.0/index.html[/url]
分享到:
相关推荐
### Hadoop分布式文件系统(HDFS):关键技术与实践 #### 摘要 Hadoop分布式文件系统(HDFS)是Hadoop项目的核心组件之一,旨在为大规模数据集提供高效可靠的存储解决方案。HDFS的设计原则强调了数据的分布式存储与...
Hadoop分布式文件系统架构和设计 Hadoop分布式文件系统是Hadoop生态系统的核心组件之一,负责存储和管理大规模数据集。下面将对Hadoop分布式文件系统的架构和设计进行详细介绍。 一、前提和设计目标 Hadoop分布式...
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
### hadoop分布式文件系统搭建 #### 一、配置hadoop分布式文件系统环境搭建 ##### 1. 准备 在开始搭建Hadoop分布式文件系统之前,首先需要确保环境准备妥当。具体步骤包括: - **检查端口占用情况**:通过`...
《HDFS——Hadoop分布式文件系统深度实践》这本书是针对Hadoop分布式文件系统(HDFS)的详尽指南,旨在帮助读者深入理解HDFS的工作原理、设计思想以及在实际应用中的最佳实践。HDFS是Apache Hadoop项目的核心组件之...
HDFS(Hadoop Distributed File System)是Hadoop的分布式文件系统,它设计用来运行在普通的硬件上,具有高容错性的特点,能够检测和处理硬件故障。HDFS的核心概念包括NameNode和DataNode,其中NameNode是管理文件...
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
《Hadoop分布式文件系统:架构和设计要点》 Hadoop分布式文件系统(HDFS)是为处理大规模数据而设计的一种可扩展、可靠的分布式文件系统。本文将深入探讨其架构和设计的核心要点。 首先,HDFS的设计目标是针对硬件...
hadoop分布式文件系统架构
4.4.2 系统安装及配置 4.4.3 安装JDK 4.4.4 虚拟机集群架设 4.4.5 NameNode安装及配置 4.4.6 Backup Node安装及配置 4.4.7 Data Node安装及配置 4.4.8 Clients安装及配置 4.5 异常解决方案 4.5.1 异常情况分析 4.5.2...
hadoop的hdfs的0.8版本,下载后直接安装
Hadoop分布式文件系统HDFS的实战,需要的Hdfs.java文件 public static void main(String[] args) throws Exception { //上传文件到hadoop uploadFile(); createFile(); createDir(); fileRename(); deleteFile...
hadoop HDFS学习课件,根据hadoop权威指南和apache官网参考手册整理。整个PPT比较大,教学时需要拆分使用
【使用Hadoop分布式文件系统检索云存储中的文件】 在当今的云计算时代,云存储系统已成为企业和个人存储大量数据的关键解决方案。这些系统由一系列独立的存储服务器组成,通过网络为用户提供服务,允许经过身份验证...
本项目为“基于Java的Hadoop分布式文件系统API操作设计源码”,包含51个文件,其中包括37个Java源文件、10个XML配置文件、2个Properties配置文件、1个Gitignore忽略配置文件、1个Markdown文档。该系统利用Java语言...
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库,采用SpringMVC+Spring框架实现,包括用户注册与登录、我的网盘、关注用户、我的分享、我...