`
dalan_123
  • 浏览: 86917 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论

hadoop2.6.1单机安装

阅读更多
centos6.6安装hadoop2.6.1操作步骤 大致如下
1.安装JDK
1.1下载上传
jdk-7u79-linux-i586.rpm

1.2安装
rpm -ivh jdk-7u79-linux-i586.rpm

1.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile

2.设置系统环境
  2.1修改主机名
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=itcast01    ###

2.2修改主机名和IP的映射关系
vim /etc/hosts
XXX.XXX.X.XXX  itcast01

2.3关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

2.4重启Linux
reboot

3.安装hadoop2.6.1
1,下载Hadoop2.6
2,解压安装
1),复制 hadoop-2.6.1.tar.gz 到/root/hadoop目录下,
然后#tar -xzvf hadoop-2.6.1.tar.gz 解压,解压后目录为:/root/hadoop/hadoop-2.6.1
2),在/root /hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录,执行如下命令
#mkdir /root/hadoop/tmp
#mkdir /root/hadoop/hdfs
#mkdir /root/hadoop/hdfs/data
#mkdir /root/hadoop/hdfs/name

3),设置环境变量,#vi ~/.bash_profile
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export HADOOP_HOME=/hadoop01/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
-----------------------------------------------------------------------
Hadoop配置
进入$HADOOP_HOME/etc/hadoop目录,配置 hadoop-env.sh等。涉及的配置文件如下:
hadoop-2.6.0/etc/hadoop/hadoop-env.sh
hadoop-2.6.0/etc/hadoop/yarn-env.sh
hadoop-2.6.0/etc/hadoop/core-site.xml
hadoop-2.6.0/etc/hadoop/hdfs-site.xml
hadoop-2.6.0/etc/hadoop/mapred-site.xml
hadoop-2.6.0/etc/hadoop/yarn-site.xml

1)配置hadoop-env.sh

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.6.0_45
2)配置yarn-env.sh


#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/lib/jdk1.6.0_45
3)配置core-site.xml
添加如下配置:


<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>


<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
4),配置hdfs-site.xml
添加如下配置


<configuration>
<!—hdfs-site.xml-->
<property>
    <name>dfs.name.dir</name>
    <value>/root/hadoop/hdfs/name</value>
    <description>namenode上存储hdfs名字空间元数据 </description>
</property>


<property>
    <name>dfs.data.dir</name>
    <value>/root/hadoop/hdfs/data</value>
    <description>datanode上数据块的物理存储位置</description>
</property>


<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
5),配置mapred-site.xml
添加如下配置:


<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>
6),配置yarn-site.xml
添加如下配置:


<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>
4,Hadoop启动
1)格式化namenode


$ bin/hdfs namenode –format
2)启动NameNode 和 DataNode 守护进程


$ sbin/start-dfs.sh
3)启动ResourceManager 和 NodeManager 守护进程


$ sbin/start-yarn.sh
5,启动验证
1)执行jps命令,有如下进程,说明Hadoop正常启动
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

4.配置ssh免登陆
1)运行:ssh-keygen -t rsa
2)然后拍两下回车(均选择默认)
3)运行: ssh-copy-id -i /root/.ssh/id_rsa.pub root@10.18.12.22
4)再输入22机器上的root密码
-------------------------------------------
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。

5、打开yarn管理页面
在浏览器中输入:http://hostname:8099/ 即可看到YARN的ResourceManager的界面。注意:默认端口是8088,这里面改成8099
分享到:
评论

相关推荐

    hadoop-2.6.1-src.tar

    hadoop-2.6.1-src.tar源码包,欢迎下载,hadoop-2.6.1-src.tar源码包,欢迎下载

    eclipse hadoop 2.6.1插件

    编译的eclipse hadoop 2.6.1插件

    win7编译过的hadoo2.6.1包括hadoop.dll和winutils.exe

    标题中的“win7编译过的hadoop2.6.1”指的是这个版本的Hadoop是为Windows 7操作系统特别编译的,确保在该平台上能够正常运行。Hadoop是一个开源框架,主要用于分布式存储和计算,它由Apache软件基金会开发。在...

    hadoop-2.6.1-windows.zip

    《Hadoop 2.6.1在Windows X64平台上的安装与配置详解》 Hadoop,这个由Apache基金会开发的分布式计算框架,是大数据处理领域的重要工具。本篇文章将详细解析如何在Windows X64平台上安装和配置Hadoop 2.6.1版本,以...

    windows-hadoop2.6.1依赖文件

    这里我们将详细讨论标题“windows-hadoop2.6.1依赖文件”所涉及的关键知识点,以及如何解决描述中提到的在`bin`文件夹下添加依赖文件的问题。 1. **Hadoop 2.6.1**: 这是Hadoop的一个稳定版本,发布于2015年,它...

    hadoop-2.6.1安装教程

    ### Hadoop 2.6.1 安装教程详解 #### 一、环境准备与配置 **1. JDK 7 的安装** 为了确保Hadoop能够正常运行,首先需要安装Java Development Kit (JDK) 7。以下是具体步骤: - **1.1 新建目录** ```shell mkdir...

    hadoop-2.6.1.tar.gz

    8. **验证安装**:通过Hadoop命令行工具测试HDFS和MapReduce功能,如`hadoop fs -ls /`检查HDFS根目录,`hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar pi`运行Pi估算示例。 除了基本的...

    hadoop2.6.1针对window的编译版本

    在本案例中,我们讨论的是针对Windows系统的Hadoop 2.6.1的编译版本,这个版本可能经过了特殊优化以适应Windows操作环境。 首先,我们需要理解Hadoop的分发方式。通常,大型的Hadoop发行版会以压缩文件的形式提供,...

    windows平台.eclipse的hadoop2.6.1插件 jdk1.6编译的. hadoop是安装包是32位的

    windows平台.eclipse的hadoop2.6.1插件 jdk1.6编译的. hadoop是安装包是32位的

    hadoop-2.6.1.rar win7编译

    这通常包括启动单机模式(本地模式)的Hadoop,运行一些基本的MapReduce示例,以验证编译结果。要启动Hadoop,你需要配置`conf`目录下的配置文件,如`core-site.xml`, `hdfs-site.xml` 和 `mapred-site.xml`。 总的...

    安装Hadoop(单机版和集群)步骤

    【安装Hadoop(单机版和集群)步骤】 在IT领域,Hadoop是一个分布式计算框架,主要用于处理和存储海量数据。本教程将详细介绍如何在Ubuntu 12.10操作系统上安装Hadoop的单机版和集群版。首先,确保你已经在VMware...

    无jar版windows平台hadoop-2.6.1.zip

    这个"无jar版windows平台hadoop-2.6.1.zip"文件是为了方便Windows用户,尤其是初学者快速上手Hadoop而准备的。在这个压缩包中,你将找到一个已经为Windows系统优化过的Hadoop版本,无需额外安装Java运行环境(即jar...

    Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程

    Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    CDH_Hadoop_单机安装_集群安装_CDH-Hadoop-Install.zip

    CDH_Hadoop_单机安装_集群安装_CDH-Hadoop-Install

    hadoop 组件详细安装步骤

    大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装)

    Hadoop安装教程_单机_伪分布式配置

    ### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...

    hadoop-2.6.1.zip

    Could not locate executabl ....\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries,本地环境缺失winutil.exe,请下载后配置环境变量

    windows本地模式hadoop-2.6.1第3部分(共3部分)

    3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...

Global site tag (gtag.js) - Google Analytics