`
genius_bai
  • 浏览: 81696 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hadoop 集群搭建

阅读更多

Hadoop 集群搭建

集群配置  (IP配置,不用域名,别名)

(注意:最好2台机器,相同的用户名,相同的安装目录。)

192.168.2.79  webdev):/home/iic/hadoop-0.20.2/

192.168.5.11  (TEST-A):  /home/iic/hadoop-0.20.2/

192.168.5.12  (TEST-B):  /home/iic/hadoop-0.20.2/          (后来新增)

 

 

配置2.79的配置文件conf/slaves文件中列出所有slave的主机名或者IP地址,一行一个。

webdev
TEST-A

TEST-B

 

5.11,5,12的配置文件conf/masters和conf/slaves在集群配置中没有任何意义。

 

------------------------------------------------------------------------------------

192.168.2.79

 

用root登录2.79,创建用户iic (密码iic),把原本属于root用户的hadoop,转为iic

创建用户:useradd iic

修改密码: passwd  iic  

mv /home/bmb/hadoop-0.20.2/  /home/iic

修改conf/*.xml中原来的bmb目录  (hdfs-site.xml),地址为5.11

修改目录权限为iic: chown -R  iic:iic /home/iic/hadoop-0.20.2/

su -l iic

cd /home/bmb/hadoop-0.20.2/

chmod 700 bin/*

 

打包hadoop,拷贝到5.11

tar cvf hadoop-0.20.2.tar *

scp hadoop-0.20.2.tar  iic@192.168.5.11:/home/iic/

 

拷贝2.79的JDK6到5.11

cd /home/bmb/jdk1.6.0_16

tar cvf jdk.tar .

scp jdk.tar iic@192.168.5.11:/home/iic/

 

 

---------------------

192.168.5.11

mkdir hadoop-0.20.2

mv hadoop-0.20.2.tar  ./hadoop-0.20.2

tar xvf hadoop-0.20.2.tar

chmod 777 bin/*

 

cd /home/iic

mkdir jdk1.6.0_16

mv jdk.tar jdk1.6.0_16/

cd  jdk1.6.0_16/

chmod 777 /home/iic/jdk1.6.0_16/bin/

/home/iic/jdk1.6.0_16/bin/java -version

 

修改conf/*.xml中原来的bmb目录  (hdfs-site.xml),和IP地址为webdev

修改conf/hadoop-env的JAVA_HOME

export JAVA_HOME=/home/iic/jdk1.6.0_16

 

 

删除目录内容

/home/iic/hadoop-0.20.2/hdfs-data

/home/iic/hadoop-0.20.2/hdfs-name

 

重新格式化不能去掉原来2.79的数据,5.11会出现跟2.79相同的Storage-ID

 

----------------------------------------------------------------------------------

2.79 SSH passwordless 5.11 问题解决

按照正常步骤,没办法SSH passwordless

用root登录5.11,tail  -f /var/log/secure,发现错误日志:error: Bind to port 22 on 0.0.0.0 failed: Address already in use.

vi /etc/ssh/sshd_config,修改ListenAddress 0.0.0.0 为 ListenAddress 192.168.5.11

重启/etc/init.d/sshd restart,日志显示正常。

重新2.79 ssh 5.11,日志显示bad ownership or modes for directory /u/iic

修改chmod 700 /u/iic,再次登录正常。

 

----------------------------------------------------------------------------------

启动集群:

在2.79下运行

cd /home/iic/hadoop-0.20.2

bin/start-dfs.sh

 

启动后,日志出现错误:

node 192.168.5.11:50010 is replaced by 192.168.2.79:50010 with the same storageID DS-596805328-192.168.2.79-50010-1270801220845

解决方法:

删除5.11/home/iic/hadoop-0.20.2/hdfs-data和/home/iic/hadoop-0.20.2/hdfs-name的内容

 

当页面出现“LiveNodes  2”时,才表示启动成功。

http://192.168.2.79:50070/dfshealth.jsp

 

bin/start-mapred.sh

启动后,5.11的hadoop-iic-tasktracker-TEST-A.log日志报错:

2010-04-12 09:59:18,114 ERROR org.apache.hadoop.mapred.TaskTracker: Caught exception: java.net.UnknownHostException: unknown host: webdev

解决方法,在5.11的/etc/hosts里面添加映射

192.168.2.79    webdev

 

移动数据

bin/hadoop fs -mv /user/root/  /user/iic/

 

 

------------------------------------------------------------------------------------------------------------

新增192.168.5.12服务器,从5.11拷贝数据

 

集群中增加机器,而不需要重启集群步骤

1:在2.79的conf/slaves中,新增一行TEST-B

 

2:在5.12上,cd /home/iic/hadoop-0.20.2

bin/hadoop-daemon.sh start datanode 
bin/hadoop-daemon.sh start tasktracker

 

启动后,Hadoop自动识别。

 

此步骤可选

在2.79执行bin/hadoop  balancer

 

 

 

 

 

分享到:
评论

相关推荐

    hadoop集群搭建(超级详细)

    在大数据领域,Hadoop是一个广泛使用的开源框架,用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程,按照步骤执行,可以轻松掌握Hadoop集群搭建技术。

    Hadoop集群搭建详细简明教程

    本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界,了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目,其核心包括两个主要组件:Hadoop Distributed File ...

    Hadoop集群搭建(全)

    Hadoop集群搭建详解 Hadoop是一个开源的分布式计算平台,由 Apache 软件基金会开发,核心组件包括HDFS(Hadoop Distributed Filesystem)和MapReduce。HDFS是一个分布式文件系统,提供了对文件系统的命名空间和...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...

    hadoop集群搭建文档资料

    以上内容是Hadoop集群搭建的基础步骤和关键知识点,具体的实施过程中可能需要根据实际环境进行调整。提供的文档资料应详细记录了每一步的操作,帮助读者理解和实践Hadoop集群的搭建。通过这份文档,你可以学习到...

    完全分布式hadoop集群搭建(含SSH免密码登录)(详细版)

    非常详细的hadoop集群搭建教程,包含SSH免密码登录,基本上按照教程上一步一步操作就能搭建成功,非常适合大数据初学者使用

    Hadoop集群搭建教程(ubuntu) (1).docx

    详细的Hadoop集群搭建过程,有6部分,前提是能连接网络,前三部都是很简单免密要仔细看,推荐JAVA版本1.8,Hadoop版本2.2.7 这两个版本都是稳定的

    Hadoop集群搭建笔记

    非常详细的linux上的hadoop集群搭建文档,可供参考,希望大家能够从中获益

    hadoop集群搭建文档

    hadoop集群搭建文档,欢迎您下载使用欢迎您下载使用欢迎您下载使用欢迎您下载使用欢迎您下载使用

    linux下的hadoop集群搭建与相关配置

    详细的hadoop集群搭建步骤

    Hadoop集群搭建超详细步骤及注意点

    ### Hadoop集群搭建详解 Hadoop作为大数据处理领域的重要工具之一,其集群的搭建对于企业级数据处理至关重要。本文将详细介绍Hadoop集群的搭建步骤及其注意事项,帮助读者顺利完成Hadoop集群的部署。 #### 一、...

    Hadoop集群搭建

    Hadoop集群搭建详细的描述了hadoop集群的搭建过程,值得大家去学习。

    bboss-docs-hadoop集群搭建

    bboss hadoop集群搭建 hadoop集群搭建 hadoop集群搭建 hadoop集群搭建 hadoop集群搭建

    hadoop集群搭建详细步骤

    "Hadoop 集群搭建详细步骤" 本文将详细介绍 Hadoop 集群搭建的步骤,从伪分布式到克隆并将其成功转化为集群搭建。我们将从 Hadoop 伪分布式搭建过程开始,然后将一台机器克隆 2 台机器,最后将这三台伪分布式改装成...

    基于centos的大数据hadoop集群搭建说明文档

    【标题】:基于CentOS的大数据Hadoop集群搭建详解 【描述】:本教程专为初学者设计,详细阐述了如何手动搭建Hadoop集群,步骤详尽,易于理解。 【标签】:Hadoop集群搭建 【正文】: Hadoop是一个开源的分布式...

    hadoop集群搭建步骤

    该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习

    mac环境下hadoop集群搭建

    搭建一个Hadoop集群是一个复杂的过程,但为了更好的理解,我们将这个过程拆解成几个主要步骤,并且由于本文档是在Mac环境下进行Hadoop集群搭建的指南,我们需要专注于特定于Mac和VMware Fusion的步骤。 1. 创建...

Global site tag (gtag.js) - Google Analytics