`
yxw22
  • 浏览: 26656 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 2.3.0 搭建指南

阅读更多

一. 准备工作(搭建环境:Ubuntu 12.04)

 假设我们有三台机器。一台做master,另外两台做slave。所有的操作都先只在master上操作,然后scp同步到slaves。

1、创建hadoop用户,建立master到两台slaves的信任关系(如何建立,可以百度一下)

 

  1. adduser hadoop  
  2. usermod hadoop -G sudo -a       # 添加到超级管理员用户组  
adduser hadoop
usermod hadoop -G sudo -a       # 添加到超级管理员用户组

 

2、下载&解压 hadoop 2.3.0 压缩包

     到这里 找一个镜像,然后下载 hadoop 2.3.0 压缩包:

     http://www.apache.org/dyn/closer.cgi/hadoop/common/

     这里我们解压到 /home/hadoop/hadoop

     目录结构如下:

 

  1. hadoop@master:~/hadoop$ pwd  
  2. /home/hadoop/hadoop  
  3. hadoop@master:~/hadoop$ ls  
  4. bin  etc  include  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share  
hadoop@master:~/hadoop$ pwd
/home/hadoop/hadoop
hadoop@master:~/hadoop$ ls
bin  etc  include  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share

 

3、下载jdk

    直接到这里下载 jdk:

    http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

    挑选对应自己操作系统的版本,只需要解压到任意目录,不需要执行任何操作。

    这里我们解压到/usr/local/jdk

    

  1. hadoop@master:/usr/local/jdk$ pwd  
  2. /usr/local/jdk  
  3. hadoop@master:/usr/local/jdk$ ls  
  4. bin        db       jre  LICENSE  README.html  src.zip                             THIRDPARTYLICENSEREADME.txt  
  5. COPYRIGHT  include  lib  man      release      THIRDPARTYLICENSEREADME-JAVAFX.txt  
hadoop@master:/usr/local/jdk$ pwd
/usr/local/jdk
hadoop@master:/usr/local/jdk$ ls
bin        db       jre  LICENSE  README.html  src.zip                             THIRDPARTYLICENSEREADME.txt
COPYRIGHT  include  lib  man      release      THIRDPARTYLICENSEREADME-JAVAFX.txt

 

 

4、修改各种配置文件

/etc/hostname:

master 上的这个文件就写master,两个slaves上的这个文件分别写 node1、  node2

/etc/hosts(ip地址根据自己的情况修改)

 

  1. 127.0.0.1       localhost  
  2.   
  3. 192.168.204.128 master  
  4. 192.168.204.129 node1  
  5. 192.168.204.130 node2  
127.0.0.1       localhost

192.168.204.128 master
192.168.204.129 node1
192.168.204.130 node2

/etc/profile(在最后面添加):

 

 

  1. #hadoop  
  2. export JAVA_HOME=/usr/local/jdk  
  3. export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH  
  4. export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
  5. export HADOOP_ROOT=/home/hadoop  
  6. export HADOOP_HOME=$HADOOP_ROOT/hadoop  
  7. export PATH=$HADOOP_ROOT/hadoop/bin:$HADOOP_ROOT/hadoop/sbin:$PATH  
#hadoop
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_ROOT=/home/hadoop
export HADOOP_HOME=$HADOOP_ROOT/hadoop
export PATH=$HADOOP_ROOT/hadoop/bin:$HADOOP_ROOT/hadoop/sbin:$PATH

 

打开hadoop配置目录(/home/hadoop/hadoop/etc/hadoop)

core-site.xml:

 

  1. <configuration>  
  2.     <property>  
  3.         <name>fs.defaultFS</name>  
  4.         <value>hdfs://master</value>  
  5.     </property>  
  6. </configuration>  
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master</value>
    </property>
</configuration>

hdfs-site.xml:

  1. <configuration>  
  2. <property>  
  3.     <name>dfs.namenode.name.dir</name>  
  4.     <value>/data1/hadoop-nn</value>  
  5. </property>  
  6. <property>  
  7.   <name>fs.defaultFS</name>  
  8.   <value>hdfs://master/</value>  
  9. </property>  
  10. <property>  
  11.   <name>dfs.replication</name>  
  12.   <value>2</value>  
  13. </property>  
  14. <property>  
  15.    <name>dfs.hosts.exclude</name>  
  16.    <value>/home/hadoop/hadoop/etc/hadoop/dfs.exclude</value>  
  17. </property>  
  18. <property>  
  19.     <name>dfs.datanode.data.dir</name>  
  20.     <value>/data1/hadoop-dn,/data2/hadoop-dn</value>  
  21. </property>  
  22.   
  23. </configuration>  
<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data1/hadoop-nn</value>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master/</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
   <name>dfs.hosts.exclude</name>
   <value>/home/hadoop/hadoop/etc/hadoop/dfs.exclude</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data1/hadoop-dn,/data2/hadoop-dn</value>
</property>

</configuration>

从上面的配置文件可以看出,我们把namenode的数据存储目录定位 /data1/hadoop-nn

 

datanode的存储目录定位为 /data1/hadoop-dn, /data2/hadoop-dn

所以要保证这两个目录正常存在,并且有空闲硬盘挂在上面。

slaves:

 

  1. node1  
  2. node2  
node1
node2

 

5、同步各种配置文件到slaves上

 

二. 启动hdfs

1、在namenode上执行:

 

  1. hadoop-daemon.sh  --script hdfs start namenode  
hadoop-daemon.sh  --script hdfs start namenode

 

 

2、在两个datanode上分别执行:

 

  1. hadoop-daemon.sh  --script hdfs start datanode  
hadoop-daemon.sh  --script hdfs start datanode



 

三.测试hdfs

在任意一台server上执行

 

  1. hadoop fs -ls /  
hadoop fs -ls /

 

  1. hadoop fs -put ./test /  
hadoop fs -put ./test /

 

hadoop新老版本下载URL:http://archive.apache.org/dist/hadoop/core/

分享到:
评论

相关推荐

    官网荡下的源码,自己亲手编译的hadoop2.3.0 64位,给大家分享下

    官网荡下的源码,自己亲手编译的hadoop2.x 64位,给大家分享下 文件太大放的是百度网盘链接,目前有hadoop2.3.0,后面的版本我会陆续更新。

    hadoop 2.3.0

    Hadoop 2.3.0 是一个重要的版本更新,在分布式计算领域具有深远影响。这个版本主要包含Apache Hadoop的核心组件,如HDFS(Hadoop Distributed File System)和MapReduce,以及YARN(Yet Another Resource Negotiator...

    hadoop2.3.0-64位编译完成包(3)

    这个“hadoop2.3.0-64位编译完成包”包含的`hadoop-2.3.0`文件可能是完整的源码、编译后的二进制文件或者是配置文件等,用户在下载并自行解压后,可以按照官方文档或相关教程进行安装和配置,以便在64位系统上运行和...

    Hadoop 2.3.0分布式集群搭建图文.doc

    ### Hadoop 2.3.0 分布式集群搭建知识点详解 #### 一、集群环境配置 - **物理机配置**:本案例采用的操作系统为Windows 7 64位。 - **虚拟机软件**:使用的是VirtualBox 4.3.10版本。 - **操作系统**:Linux发行版...

    hadoop2.3.0详细部署

    本文详细描述了Hadoop2.3.0安装步骤。其中有转载于其他部分的内容。

    hadoop2.3.0-eclipse-plugin

    hadoop2.3.0-eclipse-plugin htrace-core-3.0.4.jar有这个jar包。

    《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf

    《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践...

    hadoop2.3.0-64位编译完成包

    资源如题,自己想办法编译的,亲测可用,因为等级低,所以分了三部分上传。(我不会分卷压缩tar.gz,所以压缩成了.zip,见谅哈)

    《Hadoop系统搭建及项目实践》课程标准.pdf

    《Hadoop系统搭建及项目实践》课程,正是在这个背景下应运而生,旨在培养学生的Hadoop分布式系统的搭建和应用能力,为学生进入大数据时代打下坚实的基础。 Hadoop作为一个开源框架,能够在普通的硬件上运行,通过...

    Hadoop平台搭建.ppt

    "Hadoop平台搭建" Hadoop是一个分布式计算框架,具有高可扩展性、高可靠性和高性能的特点。Hadoop平台搭建是指在分布式环境中部署和配置Hadoop集群的过程。该过程涉及到硬件环境、软件环境、虚拟机安装、Ubuntu安装...

    《Hadoop系统搭建及项目实践》课件05Hadoop IO操作.pdf

    《Hadoop系统搭建及项目实践》课件05Hadoop IO操作.pdf《Hadoop系统搭建及项目实践》课件05Hadoop IO操作.pdf《Hadoop系统搭建及项目实践》课件05Hadoop IO操作.pdf《Hadoop系统搭建及项目实践》课件05Hadoop IO操作...

    hadoop集群搭建(超级详细)

    本文将详细讲解如何搭建一个Hadoop集群,包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明: 一、虚拟机安装与配置 在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以...

    hadoop环境搭建

    Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中,我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...

    Hadoop集群搭建指南.pdf

    要想深入的学习Hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。...

    《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf

    《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf《Hadoop系统搭建及项目实践》课件04MapReduce技术...

    《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf

    《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop...

    hadoop-2.3.0 的64位 native库

    在Hadoop 2.3.0版本中,为了在64位操作系统上运行,需要使用对应的64位native库,因为默认从Apache官网下载的版本可能只包含了32位的库。 在64位操作系统上使用32位的Hadoop native库会导致兼容性问题,例如性能...

    最详细的Hadoop环境搭建

    本文旨在提供一份详尽的指南,帮助读者从零开始搭建Hadoop环境。 #### 二、准备工作 **1. Linux环境安装** - **第一步:配置Vmware NAT网络** - **一、Vmware网络模式介绍** - Vmware提供了多种网络模式,其中...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的...希望本指南能帮助您顺利完成HBase集群的搭建工作。

Global site tag (gtag.js) - Google Analytics