`
keren
  • 浏览: 1578815 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 在redhat linux5 上部署成功(三机)

阅读更多
断断续续,折腾了一个礼拜,终于在出差的时候把这个hadoop部署成功了。
我的环境是 VMware + redhat linux5,一台namenode,一台dataqnode,配置的过程中也遇到不少麻烦,一会儿再一一列举。
后来又在slaves里面加了个datanode节点,也成功了。看来这段时间的不断尝试没有白费,接下来就要开始在window+cygwin+eclipse里面写分布式搜索引擎了。
现在将成功的运行结果列出来。
[root@rh0 bin]# hadoop fs -lsr /tmp
drwxr-xr-x   - root supergroup          0 2010-11-07 09:41 /tmp/hadoop-root
drwxr-xr-x   - root supergroup          0 2010-11-07 09:41 /tmp/hadoop-root/tmp
drwxr-xr-x   - root supergroup          0 2010-11-07 09:41 /tmp/hadoop-root/tmp/mapred
drwx-wx-wx   - root supergroup          0 2010-11-07 09:42 /tmp/hadoop-root/tmp/mapred/system
[root@rh0 bin]# hadoop dfsadmin -report
Configured Capacity: 13391486976 (12.47 GB)
Present Capacity: 8943796224 (8.33 GB)
DFS Remaining: 8943742976 (8.33 GB)
DFS Used: 53248 (52 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 192.168.126.101:50010
Decommission Status : Normal
Configured Capacity: 13391486976 (12.47 GB)
DFS Used: 53248 (52 KB)
Non DFS Used: 4447690752 (4.14 GB)
DFS Remaining: 8943742976(8.33 GB)
DFS Used%: 0%
DFS Remaining%: 66.79%
Last contact: Sun Nov 07 09:42:18 CST 2010


[root@rh0 bin]# ./hadoop fs -put /usr/local/cjd/b.txt /tmp/hadoop-root/tmp/cjd/b.txt
[root@rh0 bin]# ./hadoop jar hadoop-0.20.2-examples.jar wordcount /tmp/hadoop-root/tmp/cjd /tmp/hadoop-root/tmp/output-dir
10/11/07 09:43:03 INFO input.FileInputFormat: Total input paths to process : 1
10/11/07 09:43:03 INFO mapred.JobClient: Running job: job_201011070941_0001
10/11/07 09:43:04 INFO mapred.JobClient:  map 0% reduce 0%
10/11/07 09:43:15 INFO mapred.JobClient:  map 100% reduce 0%
10/11/07 09:43:36 INFO mapred.JobClient:  map 100% reduce 100%
10/11/07 09:43:39 INFO mapred.JobClient: Job complete: job_201011070941_0001
10/11/07 09:43:39 INFO mapred.JobClient: Counters: 17
10/11/07 09:43:39 INFO mapred.JobClient:   Job Counters 
10/11/07 09:43:39 INFO mapred.JobClient:     Launched reduce tasks=1
10/11/07 09:43:39 INFO mapred.JobClient:     Launched map tasks=1
10/11/07 09:43:39 INFO mapred.JobClient:     Data-local map tasks=1
10/11/07 09:43:39 INFO mapred.JobClient:   FileSystemCounters
10/11/07 09:43:39 INFO mapred.JobClient:     FILE_BYTES_READ=1836
10/11/07 09:43:39 INFO mapred.JobClient:     HDFS_BYTES_READ=1366
10/11/07 09:43:39 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=3704
10/11/07 09:43:39 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=1306
10/11/07 09:43:39 INFO mapred.JobClient:   Map-Reduce Framework
10/11/07 09:43:39 INFO mapred.JobClient:     Reduce input groups=131
10/11/07 09:43:39 INFO mapred.JobClient:     Combine output records=131
10/11/07 09:43:39 INFO mapred.JobClient:     Map input records=31
10/11/07 09:43:39 INFO mapred.JobClient:     Reduce shuffle bytes=1836
10/11/07 09:43:39 INFO mapred.JobClient:     Reduce output records=131
10/11/07 09:43:39 INFO mapred.JobClient:     Spilled Records=262
10/11/07 09:43:39 INFO mapred.JobClient:     Map output bytes=2055
10/11/07 09:43:39 INFO mapred.JobClient:     Combine input records=179
10/11/07 09:43:39 INFO mapred.JobClient:     Map output records=179
10/11/07 09:43:39 INFO mapred.JobClient:     Reduce input records=131
[root@rh0 bin]# hadoop dfsadmin -report
Configured Capacity: 13391486976 (12.47 GB)
Present Capacity: 8943679754 (8.33 GB)
DFS Remaining: 8943587328 (8.33 GB)
DFS Used: 92426 (90.26 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 192.168.126.101:50010
Decommission Status : Normal
Configured Capacity: 13391486976 (12.47 GB)
DFS Used: 92426 (90.26 KB)
Non DFS Used: 4447807222 (4.14 GB)
DFS Remaining: 8943587328(8.33 GB)
DFS Used%: 0%
DFS Remaining%: 66.79%
Last contact: Sun Nov 07 09:46:22 CST 2010


[root@rh0 bin]# hadoop fs -lsr /tmp
drwxr-xr-x   - root supergroup          0 2010-11-07 09:41 /tmp/hadoop-root
drwxr-xr-x   - root supergroup          0 2010-11-07 09:43 /tmp/hadoop-root/tmp
drwxr-xr-x   - root supergroup          0 2010-11-07 09:42 /tmp/hadoop-root/tmp/cjd
-rw-r--r--   1 root supergroup       1366 2010-11-07 09:42 /tmp/hadoop-root/tmp/cjd/b.txt
drwxr-xr-x   - root supergroup          0 2010-11-07 09:41 /tmp/hadoop-root/tmp/mapred
drwx-wx-wx   - root supergroup          0 2010-11-07 09:43 /tmp/hadoop-root/tmp/mapred/system
-rw-------   1 root supergroup          4 2010-11-07 09:42 /tmp/hadoop-root/tmp/mapred/system/jobtracker.info
drwxr-xr-x   - root supergroup          0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir
drwxr-xr-x   - root supergroup          0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs
drwxr-xr-x   - root supergroup          0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history
-rw-r--r--   1 root supergroup      29085 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history/rh0_1289094087484_job_201011070941_0001_conf.xml
-rw-r--r--   1 root supergroup       7070 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history/rh0_1289094087484_job_201011070941_0001_root_word+count
-rw-r--r--   1 root supergroup       1306 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/part-r-00000
[root@rh0 bin]# hadoop fs -get /tmp/hadoop-root/tmp/output-dir /usr/local/cjd/b
[root@rh0 bin]# 


【加入一个节点后查看节点】已经有2个可用的了。
Datanodes available: 2 (2 total, 0 dead)

[root@rh0 bin]# hadoop dfsadmin -report
Configured Capacity: 26782973952 (24.94 GB)
Present Capacity: 18191843343 (16.94 GB)
DFS Remaining: 18191613952 (16.94 GB)
DFS Used: 229391 (224.01 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)

Name: 192.168.126.102:50010
Decommission Status : Normal
Configured Capacity: 13391486976 (12.47 GB)
DFS Used: 53263 (52.01 KB)
Non DFS Used: 4143476721 (3.86 GB)
DFS Remaining: 9247956992(8.61 GB)
DFS Used%: 0%
DFS Remaining%: 69.06%
Last contact: Sun Nov 07 10:06:55 CST 2010


Name: 192.168.126.101:50010
Decommission Status : Normal
Configured Capacity: 13391486976 (12.47 GB)
DFS Used: 176128 (172 KB)
Non DFS Used: 4447653888 (4.14 GB)
DFS Remaining: 8943656960(8.33 GB)
DFS Used%: 0%
DFS Remaining%: 66.79%
Last contact: Sun Nov 07 10:06:55 CST 2010


【控制台截图】



【遇到的问题】

0, 要把export HADOOP_HOME=/usr/local/cjd/hadoop/hadoop-0.20.2 加入 /etc/profile,否则datanode不知道这个?
1,"Name node is in safe mode",执行以下命令.
  bin/hadoop dfsadmin -safemode leave
  bin/hadoop dfsadmin -safemode off
2,如果修改了配置文件,然后datanode起不来,发现报如下错误,
Incompatible namespaceIDs in /tmp/hadoop-root/tmp/dfs/data: namenode namespaceID = 1952086391; datanode namespaceID = 1896626371
那么到 datanode的 /tmp/hadoop-root/tmp/dfs/data/current/文件系统下,把VERSION里面的namespaceID=xxxx 改成 前面这个:1952086391. 重启hadoop即可。
3,配置文件xml里面的机器名要用ip地址。要用ip保险一些。包括 master and slaves文件里面也写ip。
4,要在每个datanode上,telnet namenode 9000,如果能telnet通,说明没有问题。
5,wordcount启动问题:
  192.168.126.100: Address 192.168.126.100 maps to rh0, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT! 
该问题的处理如下:请确保 /etc/xxx/xx/host是如下:
# that require network functionality will fail.
#127.0.0.1        rh0 localhost [配置成这个会报错]
127.0.0.1        localhost
::1        localhost6.localdomain6 localhost6
192.168.126.100 rh0
192.168.126.101 rh1
192.168.126.102 rh2 
  • 大小: 113.2 KB
  • 大小: 110.1 KB
  • 大小: 110.5 KB
分享到:
评论

相关推荐

    Hadoop on redhat enterprise 5.4部署安装手记

    本篇手记详细记录了在RedHat Enterprise 5.4上部署Hadoop集群的步骤,这对于希望构建稳定且高效云计算平台的IT专业人员来说具有很高的参考价值。选择RedHat Enterprise 5.4作为虚拟机平台主要是考虑其商业支持和稳定...

    超详细的在RedHat6.2上配置Hadoop群集环境步骤

    在Red Hat 6.2上配置Hadoop集群环境是一个复杂的过程,涉及到多个步骤和技术细节。以下是对这个过程的详细说明: ...这是一个详尽的过程,但遵循上述步骤,可以成功地在Red Hat 6.2上建立一个Hadoop 0.21.0集群环境。

    Linux_RedHat、CentOS上搭建Hadoop集群

    在Red Hat Enterprise Linux或CentOS系统上搭建Hadoop集群,首先需要确保以下软件准备: - **Hadoop**:根据需求选择合适的版本,如hadoop-0.20。 - **SSH**:确保所有节点间可以通过SSH无密码登录,方便管理。 - *...

    傻瓜式安装RedHat Linux 7.4

    - **大数据处理**:RedHat Linux 7.4支持多种大数据处理框架,如Hadoop,非常适合用于构建大数据集群。 - **云计算平台**:由于其高度的安全性和稳定性,RedHat Linux 7.4也是构建私有云和混合云的理想选择。 - **...

    HADOOP安装部署文档

    本文将详细介绍如何在Linux环境下安装和部署Hadoop,包括硬件环境准备、目录结构规划、SSH设置、环境变量配置、Hadoop配置文件的编辑以及Hadoop的启动和基本操作。 首先,下载Hadoop安装文件。Apache官方提供了不同...

    Hadoop快速部署工具 EasyHadoop.zip

    EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写,以GPL协议进行开源 开放此管理部署系统方便大家安装使用,以此和行业共同学习进步。 ...

    Spark2.3.0-Hadoop2.7.4集群部署

    本文详细介绍了如何在RedHat服务器上部署Spark2.3.0与Hadoop2.7.4集群,涵盖了从系统环境准备到具体部署步骤的全过程。此外,还列举了常用的Linux命令和Java管理命令,为读者提供了丰富的学习资源链接。通过本文的...

    Hadoop平台安装部署手册

    本手册详细介绍了在Hadoop平台上进行安装和部署的步骤,涵盖了从服务器规划、软件环境准备、操作系统安装,到JDK配置、用户和权限设置以及SSH无密码登录等一系列过程。 首先,我们需要进行**服务器部署规划**。在这...

    hadoop 部署

    Ubuntu 10.04是本文中提到的一个版本,实际上任何版本的Linux系统,如CentOS、RedHat、Fedora等,都可以作为Hadoop集群的节点操作系统。 构建一个Hadoop集群至少需要3个节点:一个主节点(Master)和两个从节点...

    Hadoop大数据平台-测试报告及成功案例.docx

    操作系统选择了稳定的企业级Linux发行版Redhat RHEL 6.6,并安装了JDK 1.7以支持Java编程。Hadoop商业发行版是Cloudera的EDH,测试时使用了5.3.2、5.3.3和5.4.0三个版本,以评估不同版本的性能差异和兼容性。 **...

    hadoop中map/reduce

    在文档《Eclipse3.3_(windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)并测试程序.doc》中,可能详细介绍了如何在Windows环境下使用Eclipse 3.3连接到运行在Red Hat Enterprise Linux 5上的Hadoop集群,包括了...

    Hadoop分布式部署经验

    Hadoop安装部署的个人经验。安装环境: (1) Master机器:用VMServer虚拟的RedHat Linux AS4 Update4操作系统,IP:172.18.190.90。VMServer宿主机是Windows Server2003 (2) Slaves1机器:一台普通PC,操作系统与...

    hadoop远程访问资料

    10. **测试程序**:在“Eclipse3.3_(windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)并测试程序.doc”中,详细讲述了如何编写、部署和测试一个简单的Hadoop程序,验证远程访问的正确性。 以上所述涵盖了从...

    hadoop集群部署

    - **操作系统**:推荐使用稳定的Linux发行版,如Redhat Linux。 - **网络配置**:确保所有节点间网络通畅,可以通过IP地址或主机名互相ping通。 2. **JDK安装** - 在每台机器上安装Java Development Kit(JDK)...

    hadoop 单机安装和集群安装总结

    它覆盖了Hadoop单机安装以及集群安装的过程,并且适用于CentOS 5/RedHat 5.2(32位/64位)及Ubuntu等操作系统。 #### 二、Hadoop单机安装配置 ##### 1. Linux基础环境搭建 - **Linux安装**:通常推荐使用VMware等...

    离线安装HADOOP环境

    在安装Hadoop之前,可能需要额外安装一些Linux组件,因此需要配置Linux安装包的yum源。在进行配置之前,请先删除或备份系统自带的源文件: ```bash # cd /etc/yum.repos.d/ # rm -rf *.repo ``` 接下来有两种方法...

    hadoop lib包

    在CentOS 6.4和Redhat 6上部署Hadoop时,lib包是必不可少的。安装过程中,需要将lib目录下的所有JAR文件添加到Hadoop的类路径(CLASSPATH)中,确保Hadoop能正确识别并加载所有依赖。同时,系统环境需要满足一定的...

    传智博客hadoop视频教程(3.4G)完整高清

    传智博客hadoop视频教程(3.4G)完整高清 ...Hadoop介绍入门、安装部署(部署环境:redhat linux企业版)、到基本原理的讲解,再到实例项目开发应用。 链接长期有效,如有未下载成功情况,留邮箱或私信

Global site tag (gtag.js) - Google Analytics