`
cooliufang
  • 浏览: 129937 次
社区版块
存档分类
最新评论

Linux(CentOS)下伪分布模式安装Hadoop

阅读更多
一、下载
下载地址:http://apache.etoak.com/hadoop/common/
打开会发现不同版本,我这里选择的是:hadoop-1.0.3.tar.gz
下载位置到:/data/software

二、安装
利用命令tar解压缩安装,解压结果如下:

[root@SC-026 ~]# cd /data/software/
[root@SC-026 software]# tar xvf hadoop-1.0.3.tar.gz


如果JAVA_HOME环境变量已经指向一个java安装,则不需要进行配置。
[root@SC-026 software]# echo $JAVA_HOME
/usr/java/jdk1.7.0_01


否则,编辑../conf/hadoop-env.sh文件来设置JAVA_HOME变量
[root@SC-026 software]# cd hadoop-1.0.3/conf
[root@SC-026 conf]# vim hadoop-env.sh 

本机中是如下编辑:
export JAVA_HOME=/usr/java/jdk1.7.0_01
export HADOOP_HOME=//data/software/hadoop-1.0.3
export PATH=$PATH:$HADOOP_HOME/bin

:wq保存,退出。

三、配置
Hadoop的各个组件均可利用xml文件配置。
core-site.xml: 用于配置Common组件的属性;
hdfs-site.xml: 用于配置HDFS属性;
mapred-site.xml: 用于配置MapReduce属性。
这些配置文件都在以下路径中:
[root@SC-026 conf]# ls
capacity-scheduler.xml  hadoop-env.sh~              mapred-site.xml
configuration.xsl       hadoop-metrics2.properties  masters
core-site.xml           hadoop-policy.xml           slaves
core-site.xml~          hdfs-site.xml               ssl-client.xml.example
fair-scheduler.xml      log4j.properties            ssl-server.xml.example
hadoop-env.sh           mapred-queue-acls.xml       taskcontroller.cfg


通过vim依次打开3个文件,配置如下:

[root@SC-026 conf]# vim core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost</value>
        </property>
</configuration>


[root@SC-026 conf]# vim hdfs-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>


[root@SC-026 conf]# vim mapred-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:8021</value>
        </property>
</configuration>


四、配置SSH
如本机中未安装,直接利用以下命令安装:
[root@SC-026 conf]#yum install ssh


启用无密码登录,输入以下命令直接回车即可:
[root@SC-026 conf]# ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/root/.ssh/id_dsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
4d:f1:da:e9:a4:80:4f:c2:32:d5:f8:94:55:32:70:cb root@SC-026.cfind.com


连接本机,测试无需输入密码成功:
[root@SC-026 conf]# ssh 192.168.15.45
Last login: Thu Jun 14 08:37:05 2012


五、格式化HDFS文件系统
[root@SC-026 conf]# cd ../bin
[root@SC-026 bin]# hadoop namenode -format
12/08/29 12:43:55 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = SC-026.cfind.com/192.168.15.45
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.0.3
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May  8 20:31:25 UTC 2012
************************************************************/
12/08/29 12:43:56 INFO util.GSet: VM type       = 64-bit
12/08/29 12:43:56 INFO util.GSet: 2% max memory = 17.77875 MB
12/08/29 12:43:56 INFO util.GSet: capacity      = 2^21 = 2097152 entries
12/08/29 12:43:56 INFO util.GSet: recommended=2097152, actual=2097152
12/08/29 12:43:56 INFO namenode.FSNamesystem: fsOwner=root
12/08/29 12:43:56 INFO namenode.FSNamesystem: supergroup=supergroup
12/08/29 12:43:56 INFO namenode.FSNamesystem: isPermissionEnabled=true
12/08/29 12:43:56 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
12/08/29 12:43:56 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
12/08/29 12:43:56 INFO namenode.NameNode: Caching file names occuring more than 10 times 
12/08/29 12:43:56 INFO common.Storage: Image file of size 110 saved in 0 seconds.
12/08/29 12:43:56 INFO common.Storage: Storage directory [color=red]/tmp/hadoop-root/dfs/name has been successfully formatted.[/color]
12/08/29 12:43:56 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at SC-026.cfind.com/192.168.15.45


六、启动和终止守护进程
启动进程:
[root@SC-026 bin]# start-all.sh 
starting namenode, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-namenode-SC-026.cfind.com.out
localhost: starting datanode, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-SC-026.cfind.com.out
localhost: starting secondarynamenode, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-secondarynamenode-SC-026.cfind.com.out
starting jobtracker, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-jobtracker-SC-026.cfind.com.out
localhost: starting tasktracker, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-tasktracker-SC-026.cfind.com.out


这里启动三个守护进程:namenode, senconaryNameNode, DataNode,用命令jps可以查看进程是否成功?
[root@SC-026 bin]# jps
6247 JobTracker
3572 org.eclipse.equinox.launcher_1.2.0.v20110502.jar
5902 NameNode
6161 SecondaryNameNode
6396 TaskTracker
6467 Jps
6029 DataNode


终止进程:
[root@SC-026 bin]# stop-all.sh 
stopping jobtracker
localhost: stopping tasktracker
stopping namenode
localhost: stopping datanode
localhost: stopping secondarynamenode


以上配置成功后,在浏览器中输入:http://localhost:50030 会有以下页面:


输入:http://localhost:50070 会有以下页面:


在上述安装过程中,碰到不少问题,下一篇文章会统一说明解决。










  • 大小: 499.6 KB
  • 大小: 496.5 KB
分享到:
评论

相关推荐

    linux下伪分布安装hadoop环境及问题处理

    ### Hadoop伪分布模式在Linux CentOS下的安装与配置详解 #### 一、概览 本文旨在详细介绍如何在Linux CentOS 5.0系统下搭建Hadoop伪分布模式的测试环境,包括必要的步骤、注意事项以及可能遇到的问题及其解决方案...

    CentOS下安装伪分布式Hadoop-1.2.1

    ### CentOS 下安装伪分布式 Hadoop-1.2.1 的详细步骤 ...至此,已经完成了在 CentOS 下伪分布式模式的 Hadoop-1.2.1 的安装与基本配置。这为后续进行 Hadoop 相关的大数据处理任务提供了坚实的基础。

    VMware上CentOS7.0+Hadoop3.1伪分布式搭建

    在本教程中,我们将深入探讨如何在VMware虚拟机中安装CentOS7.0操作系统,并配置Hadoop3.1的伪分布式环境。这个过程对于学习Hadoop基础、大数据处理和分布式计算至关重要。以下是对整个搭建过程的详细步骤和知识点的...

    linux下载,安装,JDK配置,hadoop安装

    - 全分布模式:除了伪分布模式外,还需配置 hosts 文件、SSH 免密登录等,并在所有节点上复制 Hadoop 配置文件。 **3.5 验证Hadoop安装** - **运行 WordCount 示例程序**: - 编写 MapReduce 任务。 - 提交任务...

    在centos上安装hadoop

    这一步骤对于Hadoop的伪分布式模式尤为重要,因为在这种模式下,NameNode和DataNode都在同一台机器上运行。 接下来,安装JDK(Java Development Kit)是必要的,因为Hadoop是用Java编写的。你可以下载JDK的Linux...

    LinuxRedHat、CentOS上搭建Hadoop集群.pdf

    2. 伪分布式模式:Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。 3. 完全分布式模式:有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点...

    Linux下Hadoop伪分布式配置及操作命令

    Linux下Hadoop伪分布式配置及操作命令详细知识点: 1. Hadoop伪分布式模式说明: Hadoop伪分布式模式是一种在单台计算机上模拟分布式环境的配置方式,它通过使用线程来模拟多个节点的分布式工作,但实际上所有的...

    实验1-安装Hadoop1

    本实验将引导你完成在CentOS 6操作系统上安装Hadoop的过程,涵盖单机模式、伪分布式模式以及分布式模式的安装。这些模式各有特点,适用于不同的学习和开发需求。\n\n**一、单机模式安装**\n\n1. **环境准备**:首先...

    Linux_RedHat、CentOS上搭建Hadoop集群

    在Red Hat Enterprise Linux或CentOS系统上搭建Hadoop集群,首先需要确保以下软件准备: - **Hadoop**:根据需求选择合适的版本,如hadoop-0.20。 - **SSH**:确保所有节点间可以通过SSH无密码登录,方便管理。 - *...

    VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

    - **Hadoop伪分布部署**:适用于本地测试环境。 - **Zookeeper、Hive、HBase的分布式部署**:提供高可用性和数据仓库支持。 - **Spark、Sqoop、Mahout的分布式部署**:用于提高数据处理性能和数据分析能力。 - **...

    hadoop伪分布式安装方法步骤

    在本资源中,我们将详细介绍Hadoop伪分布式安装的步骤,包括宿主机和客户机的网络连接、Hadoop的伪分布安装步骤、JDK的安装、Hadoop的安装等。 1. 宿主机和客户机的网络连接 在Hadoop伪分布式安装中,宿主机和客户...

    CentOS下安装Apache Hadoop(案例).pdf

    在单节点集群中,可能还需要配置伪分布式模式,这通常通过在`hadoop-env.sh`中设置`HADOOP_OPTS`来实现,并在`hdfs-site.xml`中指定`dfs.nameservices`和`dfs.datanode.data.dir`等属性。 完成配置后,可以启动...

    虚拟机伪分布式安装hadoop的配置

    【虚拟机伪分布式安装Hadoop的配置】 在IT领域,Hadoop是一个开源的分布式计算框架,常用于大数据处理。为了在个人计算机上模拟Hadoop的分布式环境,我们通常会在虚拟机上进行“伪分布式”安装。这个过程允许我们在...

    Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu141

    本文将指导您如何在Ubuntu 14.04 64位系统上安装Hadoop 2.6.0,无论是单机模式还是伪分布式模式,旨在帮助初学者克服安装过程中的障碍。 **环境准备** 首先,确保您的系统是Ubuntu 14.04 64位。如果使用的是其他...

    Hadoop课程设计,基于Hadoop的好友推荐,在VM虚拟机上搭建CentOS环境(伪分布式)

    【标题】:“Hadoop课程设计,基于Hadoop的好友推荐,在VM虚拟机上搭建CentOS环境(伪分布式)”这一主题涵盖了多个IT领域的关键知识点,包括大数据处理框架Hadoop、虚拟化技术VMware、操作系统CentOS以及数据推荐...

    大数据教程-Hadoop伪分布式安装.pdf

    Hadoop通常在Linux环境下安装,尤其是CentOS、Ubuntu等发行版。安装Hadoop之前,需要确保系统环境满足其运行的基本要求,如设置静态IP、配置主机名等。 ### 3. 配置yum源 yum(Yellowdog Updater Modified)是一个...

    Hadoop_HDFS_HBase在centos上部署

    在`/usr/local/hadoop/etc/hadoop`目录下,编辑`hadoop-env.sh`文件,设置JAVA_HOME为你的JDK安装路径。然后,配置`core-site.xml`以指定HDFS的默认文件系统: ```xml &lt;name&gt;fs.defaultFS &lt;value&gt;hdfs://...

    hadoop安装和配置(已测试)

    本文中涉及到的知识点主要集中在Hadoop在Linux环境下,特别是CentOS系统中的安装和配置。 首先,Hadoop的安装模式主要有三种:本地模式、伪分布模式和集群模式。本地模式仅适用于测试,不具备真正的分布式计算能力...

Global site tag (gtag.js) - Google Analytics