`
liuxinglanyue
  • 浏览: 561273 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Linux下安装Hadoop教程(转)

阅读更多

Linux下安装Hadoop教程
作者:阿King
E-mail:cs_cjj@163.com
Blog:http://hi.baidu.com/cumthacker
目的:此教程旨在引导未接触Hadoop的新手入门只用,高手请飘过。

环境: Fedora12
            Kernel2.6.31.5-127.fc12.i686.PAE
            Hadoop-0.20.2
            jdk-6u18-linux-i586


初学者可以选择三台实体机子做实验,一台做NameNode,JobTracker,另外两台做DataNode,TaskTracker。
本教程里就用的三台机子做演示。
station1        192.168.128.11      NameNode
station2        192.168.128.22      DataNode
station3        192.168.128.33      DataNode
1、Fedora的安装就不用演示了,装好后默认是启动sshd服务的。
不确定的话可以手工查一下
[root@station1 ~]# service sshd status
如果没有启动,可以手工启动
[root@station1 ~]# service sshd start
2、建立ssh无密码登录
在NameNode上
[cuijj@station1 ~]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
会在~/.ssh/生成两个文件:id_dsa和id_dsa.pub。这两个是成对出现的。
把id_dsa.pub文件追加到DataNode上的authorized_keys(默认是没有这个文件的)内。
[cuijj@station1 ~]$ scp id_dsa.pub cuijj@192.168.128.22:/home/cuijj/
登录到192.168.128.22上(另一台DataNode一样)
[cuijj@station1 ~]$ cat id_dsa.pub >> ~/.ssh/authorized_keys
3、关闭防火墙
[root@station1 ~]# service iptables stop
4、安装jdk1.6(确保几台机子的java环境一样)
到官网http://java.sun.com下载jdk-6u18-linux-i586.bin,下载后,直接安装。本教程的安装路径为/home/cuijj/jdk1.6.0_18。安装后添加如下语句到/ect/profile中:
export JAVA_HOME=/home/cuijj/jdk1.6.0_18
export JRE_HOME=/home/cuijj/jdk1.6.0_18/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

5、安装hadoop
到官网下载hadoop-0.20.2.tar.gz 
[cuijj@station1 ~]$ tar xzvf hadoop-0.20.2.tar.gz 
把Hadoop的安装路径添加到/etc/profile中
export HADOOP_HOME=/home/cuijj/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH

为了让/etc/profile生效,source一下
[cuijj@station1 ~]$ source /etc/profile
6、配置hadoop
hadoop的配置文件在/conf目录下
1)配置Java环境
[cuijj@station1 ~]$ vim hadoop-0.20.2/conf/hadoop-env.sh
export JAVA_HOME=/home/cuijj/jdk1.6.0_18
2)配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
[cuijj@station1 ~]$ vim hadoop-0.20.2/conf/core-site.xml


[cuijj@station1 ~]$ vim hadoop-0.20.2/conf/mapred-site.xml


[cuijj@station1 ~]$ vim hadoop-0.20.2/conf/hdfs-site.xml


3)将NameNode上拷贝完整的hadoop到DataNode上
4)配置NameNode上的conf/masters和conf/slaves
masters:
192.168.128.11
slaves:
192.168.128.22
192.168.128.33

7、运行hadoop
1)格式化文件系统
[cuijj@station1 hadoop-0.20.2]$ hadoop namenode -format
2)启动Hadoop
[cuijj@station1 hadoop-0.20.2]$ bin/start-all.sh
3)用jps命令查看进程,NameNode上的结果如下:


4)查看集群状态
[cuijj@station1 hadoop-0.20.2]$ hadoop dfsadmin -report
5)用hadoop的web方式查看
[cuijj@station1 hadoop-0.20.2]$ links http://192.168.128.11:50070


8、运行wordcount.java程序
1)先在本地磁盘建立两个文件file01和file02
[cuijj@station1 ~]$ echo "Hello cuijj bye cuijj" > file01
[cuijj@station1 ~]$ echo "Hello Hadoop Goodbye Hadoop" > file02

2)在hdfs中建立一个input目录
[cuijj@station1 ~]$ hadoop dfs -mkdir input
3)将file01和file02拷贝到hdfs的input目录下
[cuijj@station1 ~]$ hadoop dfs -copyFromLocal /home/cuijj/file0* input
4)查看hdfs中有没有input目录
[cuijj@station1 ~]$ hadoop dfs -ls


5)查看input目录下有没有复制成功file01和file02


6)执行wordcount(确保hdfs上没有output目录)
[cuijj@station1 hadoop-0.20.2]$ hadoop jar hadoop-0.20.2-examples.jar wordcount input output
7)运行完成,查看结果

分享到:
评论

相关推荐

    Linux下安装Hadoop完全分布式

    本教程提供了一个全面的指南,帮助读者了解如何在Linux环境下安装和配置Hadoop完全分布式集群。需要注意的是,实际部署过程中还可能遇到各种细节问题,如网络配置、权限管理等方面的问题,需要根据实际情况灵活处理...

    Linux下安装Hadoop

    在Linux环境下安装Hadoop是一项常见的任务,特别是在大数据处理和分布式计算的场景中。Hadoop是一个开源框架,主要用于存储和处理大规模数据集。本教程将详细解释如何在Linux系统上安装和配置Hadoop。 首先,我们...

    实验1 安装Hadoop.doc

    根据给定文件的信息,我们可以总结出以下几个重要的知识点: ...综上所述,通过本次实验,学生不仅能够学会如何在Linux虚拟机中搭建Hadoop集群,还能掌握Hadoop的基本使用技巧,为进一步学习大数据分析打下坚实基础。

    linux下载,安装,JDK配置,hadoop安装

    ### Linux下载、安装、JDK配置、Hadoop安装相关知识点 #### 一、Linux环境准备与安装 **1.1 Linux版本选择** - **CentOS 6.5**:适用于本教程,是一款稳定且广受支持的企业级操作系统。 **1.2 下载Linux** - **...

    linux环境下hadoop及其组件分别安装

    在Linux环境下进行Hadoop及其组件的安装,首先要确保操作系统、JDK、Hadoop版本以及其他相关组件的正确选择和配置。本教程将详细讲解Hadoop的伪分布式安装过程,以及部分组件的安装步骤。 1. **操作系统与环境配置*...

    Ubuntu下的Hadoop安装教程

    2. **使用虚拟光驱安装**:使用虚拟光驱软件(例如 Daemon Tools)打开 ISO 文件,并执行里面的 `wubi.exe` 程序来在 Windows 环境下安装 Ubuntu。 3. **配置参数并重启**:根据提示配置安装参数,完成安装后需要...

    Linux 系统下 Hadoop 安装配置教程.md

    ### Linux系统下Hadoop安装配置的关键知识点 #### 环境准备 - **确保Linux系统已安装Java**:Hadoop的运行依赖于Java环境。在安装Hadoop之前,需先确保Linux系统上已经安装了Java,并且版本符合Hadoop的要求。可以...

    在Windows上安装Hadoop教程

    打开解压后的hadoop目录,找到conf子目录下的两个核心配置文件:hadoop-env.cmd(Windows环境)和core-site.xml。在hadoop-env.cmd中,设置HADOOP_HOME为你的Hadoop安装路径,并指定JAVA_HOME。在core-site.xml中,...

    Linux-Hadoop集群搭建详细简明教程

    Linux 操作系统安装环境下Hadoop集群搭建详细简明教程

    Linuxhadoop集群安装

    下面,我们将深入探讨Hadoop在Linux环境下的安装过程,以及相关文件可能提供的详细信息。 首先,"jdk1.7 安装 .doc"文件很可能包含了Java Development Kit(JDK)的安装指南。Hadoop依赖Java运行环境,通常推荐使用...

    在Windows上安装Hadoop教程.pdf

    ### 在Windows上安装Hadoop教程 #### 一、前言 随着大数据技术的发展,Hadoop作为主流的大数据处理框架之一,其安装与配置成为了很多初学者及开发人员必须掌握的基本技能之一。通常情况下,Hadoop的部署环境为...

    Hadoop2.7.7安装过程

    在本文中,我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7,这是一个广泛使用的开源分布式计算框架。在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖...

    Hadoop安装与配置详细教程(Linux)

    在Linux环境下安装和配置Hadoop是一项基础但重要的任务,尤其对于那些需要处理大规模数据的组织。本文将详细介绍如何在Linux服务器集群上安装和配置Hadoop。 首先,确保你的服务器集群安装和配置已经完成。在这个...

    在Windows上安装Hadoop教程.zip_YJVH_hadoop_hadoop book

    在Windows系统上安装Hadoop是一项技术性较强的任务,涉及到多个步骤和配置,本文将依据"在Windows上安装Hadoop教程.zip_YJVH_hadoop_hadoop book"提供的详细指南,为您全面解析这一过程。 首先,Hadoop是Apache软件...

    linux下编译hadoop2.8.3,附教程、maven库、所需工具

    为了方便寻找,于是乎我把编译的教程都收集来! part1:http://download.csdn.net/download/nidaye13123/10167490 part2:http://download.csdn.net/download/nidaye13123/10167494 part3:...

Global site tag (gtag.js) - Google Analytics