- 浏览: 1580544 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (571)
- Flex (301)
- AIR (5)
- ComPiere (8)
- ExtJS (15)
- SAP (0)
- jBPM (3)
- Java-Hibernate (5)
- Java-Spring (10)
- XML (2)
- java-web (30)
- db2 (2)
- websphere (4)
- Google (5)
- 虚拟机 (10)
- eclipse (8)
- Win2003 (11)
- Ubuntu (27)
- VMware (4)
- CentOS (3)
- JSON (1)
- Oracle (15)
- SilverLight (1)
- 大事记 (6)
- VirtualBox (5)
- Solaris (10)
- AIX (6)
- 云计算 (10)
- MacOS (4)
- iOS (1)
- SQLite (1)
- Activiti (1)
- jdk (5)
- hadoop (8)
- Ant (4)
- PhoneGap (2)
- JavaScript (11)
- jQuery (1)
- FireFox (1)
- HBase (2)
- sqoop (0)
- ffmpeg (7)
- mencode (0)
- jdbc (1)
- SQLServer (1)
- 组件平台 (12)
- struts2 (4)
- intellj (4)
- android (1)
- ExtJS4 (1)
- 色卡司 (1)
- Linux (3)
- ExtJS5 (1)
- zookeeper (2)
- maven (1)
- Java (6)
- vpn (0)
- squid (1)
- MySQL (2)
- webpackage (1)
- antd (1)
- lucene (1)
最新评论
-
qq_24800465:
请问这里的库从哪下载啊
ffmpeg所有的编码器(encoders) -
neusoft_jerry:
貌似这里没用到StreamingAMFChannel哦,只是用 ...
Flex BlazeDS 推送技术 -
anyone:
感谢你的博文,看了受益匪浅
记住这个IntelliJ IDEA的编译设置 -
keren:
现在还有什么应用需要用flex来开发的?
flex tree的展开,关闭,添加、删除子节点 -
neusoft_jerry:
简洁明快,好贴好贴!楼主V5!
flex tree的展开,关闭,添加、删除子节点
断断续续,折腾了一个礼拜,终于在出差的时候把这个hadoop部署成功了。
我的环境是 VMware + redhat linux5,一台namenode,一台dataqnode,配置的过程中也遇到不少麻烦,一会儿再一一列举。
后来又在slaves里面加了个datanode节点,也成功了。看来这段时间的不断尝试没有白费,接下来就要开始在window+cygwin+eclipse里面写分布式搜索引擎了。
现在将成功的运行结果列出来。
【加入一个节点后查看节点】已经有2个可用的了。
Datanodes available: 2 (2 total, 0 dead)
【控制台截图】
【遇到的问题】
0, 要把export HADOOP_HOME=/usr/local/cjd/hadoop/hadoop-0.20.2 加入 /etc/profile,否则datanode不知道这个?
1,"Name node is in safe mode",执行以下命令.
bin/hadoop dfsadmin -safemode leave
bin/hadoop dfsadmin -safemode off
2,如果修改了配置文件,然后datanode起不来,发现报如下错误,
Incompatible namespaceIDs in /tmp/hadoop-root/tmp/dfs/data: namenode namespaceID = 1952086391; datanode namespaceID = 1896626371
那么到 datanode的 /tmp/hadoop-root/tmp/dfs/data/current/文件系统下,把VERSION里面的namespaceID=xxxx 改成 前面这个:1952086391. 重启hadoop即可。
3,配置文件xml里面的机器名要用ip地址。要用ip保险一些。包括 master and slaves文件里面也写ip。
4,要在每个datanode上,telnet namenode 9000,如果能telnet通,说明没有问题。
5,wordcount启动问题:
192.168.126.100: Address 192.168.126.100 maps to rh0, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT!
该问题的处理如下:请确保 /etc/xxx/xx/host是如下:
我的环境是 VMware + redhat linux5,一台namenode,一台dataqnode,配置的过程中也遇到不少麻烦,一会儿再一一列举。
后来又在slaves里面加了个datanode节点,也成功了。看来这段时间的不断尝试没有白费,接下来就要开始在window+cygwin+eclipse里面写分布式搜索引擎了。
现在将成功的运行结果列出来。
[root@rh0 bin]# hadoop fs -lsr /tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root/tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root/tmp/mapred drwx-wx-wx - root supergroup 0 2010-11-07 09:42 /tmp/hadoop-root/tmp/mapred/system [root@rh0 bin]# hadoop dfsadmin -report Configured Capacity: 13391486976 (12.47 GB) Present Capacity: 8943796224 (8.33 GB) DFS Remaining: 8943742976 (8.33 GB) DFS Used: 53248 (52 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 1 (1 total, 0 dead) Name: 192.168.126.101:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 53248 (52 KB) Non DFS Used: 4447690752 (4.14 GB) DFS Remaining: 8943742976(8.33 GB) DFS Used%: 0% DFS Remaining%: 66.79% Last contact: Sun Nov 07 09:42:18 CST 2010 [root@rh0 bin]# ./hadoop fs -put /usr/local/cjd/b.txt /tmp/hadoop-root/tmp/cjd/b.txt [root@rh0 bin]# ./hadoop jar hadoop-0.20.2-examples.jar wordcount /tmp/hadoop-root/tmp/cjd /tmp/hadoop-root/tmp/output-dir 10/11/07 09:43:03 INFO input.FileInputFormat: Total input paths to process : 1 10/11/07 09:43:03 INFO mapred.JobClient: Running job: job_201011070941_0001 10/11/07 09:43:04 INFO mapred.JobClient: map 0% reduce 0% 10/11/07 09:43:15 INFO mapred.JobClient: map 100% reduce 0% 10/11/07 09:43:36 INFO mapred.JobClient: map 100% reduce 100% 10/11/07 09:43:39 INFO mapred.JobClient: Job complete: job_201011070941_0001 10/11/07 09:43:39 INFO mapred.JobClient: Counters: 17 10/11/07 09:43:39 INFO mapred.JobClient: Job Counters 10/11/07 09:43:39 INFO mapred.JobClient: Launched reduce tasks=1 10/11/07 09:43:39 INFO mapred.JobClient: Launched map tasks=1 10/11/07 09:43:39 INFO mapred.JobClient: Data-local map tasks=1 10/11/07 09:43:39 INFO mapred.JobClient: FileSystemCounters 10/11/07 09:43:39 INFO mapred.JobClient: FILE_BYTES_READ=1836 10/11/07 09:43:39 INFO mapred.JobClient: HDFS_BYTES_READ=1366 10/11/07 09:43:39 INFO mapred.JobClient: FILE_BYTES_WRITTEN=3704 10/11/07 09:43:39 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=1306 10/11/07 09:43:39 INFO mapred.JobClient: Map-Reduce Framework 10/11/07 09:43:39 INFO mapred.JobClient: Reduce input groups=131 10/11/07 09:43:39 INFO mapred.JobClient: Combine output records=131 10/11/07 09:43:39 INFO mapred.JobClient: Map input records=31 10/11/07 09:43:39 INFO mapred.JobClient: Reduce shuffle bytes=1836 10/11/07 09:43:39 INFO mapred.JobClient: Reduce output records=131 10/11/07 09:43:39 INFO mapred.JobClient: Spilled Records=262 10/11/07 09:43:39 INFO mapred.JobClient: Map output bytes=2055 10/11/07 09:43:39 INFO mapred.JobClient: Combine input records=179 10/11/07 09:43:39 INFO mapred.JobClient: Map output records=179 10/11/07 09:43:39 INFO mapred.JobClient: Reduce input records=131 [root@rh0 bin]# hadoop dfsadmin -report Configured Capacity: 13391486976 (12.47 GB) Present Capacity: 8943679754 (8.33 GB) DFS Remaining: 8943587328 (8.33 GB) DFS Used: 92426 (90.26 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 1 (1 total, 0 dead) Name: 192.168.126.101:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 92426 (90.26 KB) Non DFS Used: 4447807222 (4.14 GB) DFS Remaining: 8943587328(8.33 GB) DFS Used%: 0% DFS Remaining%: 66.79% Last contact: Sun Nov 07 09:46:22 CST 2010 [root@rh0 bin]# hadoop fs -lsr /tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp drwxr-xr-x - root supergroup 0 2010-11-07 09:42 /tmp/hadoop-root/tmp/cjd -rw-r--r-- 1 root supergroup 1366 2010-11-07 09:42 /tmp/hadoop-root/tmp/cjd/b.txt drwxr-xr-x - root supergroup 0 2010-11-07 09:41 /tmp/hadoop-root/tmp/mapred drwx-wx-wx - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/mapred/system -rw------- 1 root supergroup 4 2010-11-07 09:42 /tmp/hadoop-root/tmp/mapred/system/jobtracker.info drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs drwxr-xr-x - root supergroup 0 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history -rw-r--r-- 1 root supergroup 29085 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history/rh0_1289094087484_job_201011070941_0001_conf.xml -rw-r--r-- 1 root supergroup 7070 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/_logs/history/rh0_1289094087484_job_201011070941_0001_root_word+count -rw-r--r-- 1 root supergroup 1306 2010-11-07 09:43 /tmp/hadoop-root/tmp/output-dir/part-r-00000 [root@rh0 bin]# hadoop fs -get /tmp/hadoop-root/tmp/output-dir /usr/local/cjd/b [root@rh0 bin]#
【加入一个节点后查看节点】已经有2个可用的了。
Datanodes available: 2 (2 total, 0 dead)
[root@rh0 bin]# hadoop dfsadmin -report Configured Capacity: 26782973952 (24.94 GB) Present Capacity: 18191843343 (16.94 GB) DFS Remaining: 18191613952 (16.94 GB) DFS Used: 229391 (224.01 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) Name: 192.168.126.102:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 53263 (52.01 KB) Non DFS Used: 4143476721 (3.86 GB) DFS Remaining: 9247956992(8.61 GB) DFS Used%: 0% DFS Remaining%: 69.06% Last contact: Sun Nov 07 10:06:55 CST 2010 Name: 192.168.126.101:50010 Decommission Status : Normal Configured Capacity: 13391486976 (12.47 GB) DFS Used: 176128 (172 KB) Non DFS Used: 4447653888 (4.14 GB) DFS Remaining: 8943656960(8.33 GB) DFS Used%: 0% DFS Remaining%: 66.79% Last contact: Sun Nov 07 10:06:55 CST 2010
【控制台截图】
【遇到的问题】
0, 要把export HADOOP_HOME=/usr/local/cjd/hadoop/hadoop-0.20.2 加入 /etc/profile,否则datanode不知道这个?
1,"Name node is in safe mode",执行以下命令.
bin/hadoop dfsadmin -safemode leave
bin/hadoop dfsadmin -safemode off
2,如果修改了配置文件,然后datanode起不来,发现报如下错误,
Incompatible namespaceIDs in /tmp/hadoop-root/tmp/dfs/data: namenode namespaceID = 1952086391; datanode namespaceID = 1896626371
那么到 datanode的 /tmp/hadoop-root/tmp/dfs/data/current/文件系统下,把VERSION里面的namespaceID=xxxx 改成 前面这个:1952086391. 重启hadoop即可。
3,配置文件xml里面的机器名要用ip地址。要用ip保险一些。包括 master and slaves文件里面也写ip。
4,要在每个datanode上,telnet namenode 9000,如果能telnet通,说明没有问题。
5,wordcount启动问题:
192.168.126.100: Address 192.168.126.100 maps to rh0, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT!
该问题的处理如下:请确保 /etc/xxx/xx/host是如下:
# that require network functionality will fail. #127.0.0.1 rh0 localhost [配置成这个会报错] 127.0.0.1 localhost ::1 localhost6.localdomain6 localhost6 192.168.126.100 rh0 192.168.126.101 rh1 192.168.126.102 rh2
发表评论
-
把hadoop上多个文件合并然后copyt到本地
2012-06-05 09:04 2911http://www.hadoopor.com/thread- ... -
Hadoop1.0.0 eclipse 插件编译包
2012-04-23 00:51 3579hadoop1.0.0没有eclipse 插件包,今晚自己编译 ... -
Hadoop必须知道的几个问题
2012-04-12 09:02 11101,master slaves文件只有 namenode se ... -
chmod -R 777 /usr/local/java/jdk1.6.0_13/jre/bin 我爱你
2012-03-12 10:44 0因为少了这句话,我的hadoop环境重新安装了3次,还是报错 ... -
hadoop hbase的相关命令
2012-03-03 14:07 1395//是否进入或者是否还在安全模式 hadoop dfsa ... -
Hadoop环境部署成功(ubuntu+hadoop0.20.2+eclipse3.3.2)
2011-11-19 18:48 2569经过一段时间的折腾,终于能在eclipse里面运行MR了。 主 ... -
分布式监控系统 Ganglia
2011-06-03 10:03 1151http://ganglia.sourceforge.net/ ... -
我的HBase之旅
2010-11-21 14:37 5251最近在学hbase,看了好多资料,具体的参考: http:// ... -
第一个Mapreduce例子
2010-10-27 21:00 3211经过几天的尝试,终于部署起来了hadoop运行环境, hado ... -
Hadoop入门资料
2010-10-18 09:43 1082很好很详细的入门资料 http://hadoop.apache ...
相关推荐
本篇手记详细记录了在RedHat Enterprise 5.4上部署Hadoop集群的步骤,这对于希望构建稳定且高效云计算平台的IT专业人员来说具有很高的参考价值。选择RedHat Enterprise 5.4作为虚拟机平台主要是考虑其商业支持和稳定...
在Red Hat 6.2上配置Hadoop集群环境是一个复杂的过程,涉及到多个步骤和技术细节。以下是对这个过程的详细说明: ...这是一个详尽的过程,但遵循上述步骤,可以成功地在Red Hat 6.2上建立一个Hadoop 0.21.0集群环境。
在Red Hat Enterprise Linux或CentOS系统上搭建Hadoop集群,首先需要确保以下软件准备: - **Hadoop**:根据需求选择合适的版本,如hadoop-0.20。 - **SSH**:确保所有节点间可以通过SSH无密码登录,方便管理。 - *...
- **大数据处理**:RedHat Linux 7.4支持多种大数据处理框架,如Hadoop,非常适合用于构建大数据集群。 - **云计算平台**:由于其高度的安全性和稳定性,RedHat Linux 7.4也是构建私有云和混合云的理想选择。 - **...
本文将详细介绍如何在Linux环境下安装和部署Hadoop,包括硬件环境准备、目录结构规划、SSH设置、环境变量配置、Hadoop配置文件的编辑以及Hadoop的启动和基本操作。 首先,下载Hadoop安装文件。Apache官方提供了不同...
EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写,以GPL协议进行开源 开放此管理部署系统方便大家安装使用,以此和行业共同学习进步。 ...
本文详细介绍了如何在RedHat服务器上部署Spark2.3.0与Hadoop2.7.4集群,涵盖了从系统环境准备到具体部署步骤的全过程。此外,还列举了常用的Linux命令和Java管理命令,为读者提供了丰富的学习资源链接。通过本文的...
本手册详细介绍了在Hadoop平台上进行安装和部署的步骤,涵盖了从服务器规划、软件环境准备、操作系统安装,到JDK配置、用户和权限设置以及SSH无密码登录等一系列过程。 首先,我们需要进行**服务器部署规划**。在这...
Ubuntu 10.04是本文中提到的一个版本,实际上任何版本的Linux系统,如CentOS、RedHat、Fedora等,都可以作为Hadoop集群的节点操作系统。 构建一个Hadoop集群至少需要3个节点:一个主节点(Master)和两个从节点...
操作系统选择了稳定的企业级Linux发行版Redhat RHEL 6.6,并安装了JDK 1.7以支持Java编程。Hadoop商业发行版是Cloudera的EDH,测试时使用了5.3.2、5.3.3和5.4.0三个版本,以评估不同版本的性能差异和兼容性。 **...
在文档《Eclipse3.3_(windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)并测试程序.doc》中,可能详细介绍了如何在Windows环境下使用Eclipse 3.3连接到运行在Red Hat Enterprise Linux 5上的Hadoop集群,包括了...
Hadoop安装部署的个人经验。安装环境: (1) Master机器:用VMServer虚拟的RedHat Linux AS4 Update4操作系统,IP:172.18.190.90。VMServer宿主机是Windows Server2003 (2) Slaves1机器:一台普通PC,操作系统与...
10. **测试程序**:在“Eclipse3.3_(windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)并测试程序.doc”中,详细讲述了如何编写、部署和测试一个简单的Hadoop程序,验证远程访问的正确性。 以上所述涵盖了从...
- **操作系统**:推荐使用稳定的Linux发行版,如Redhat Linux。 - **网络配置**:确保所有节点间网络通畅,可以通过IP地址或主机名互相ping通。 2. **JDK安装** - 在每台机器上安装Java Development Kit(JDK)...
它覆盖了Hadoop单机安装以及集群安装的过程,并且适用于CentOS 5/RedHat 5.2(32位/64位)及Ubuntu等操作系统。 #### 二、Hadoop单机安装配置 ##### 1. Linux基础环境搭建 - **Linux安装**:通常推荐使用VMware等...
在安装Hadoop之前,可能需要额外安装一些Linux组件,因此需要配置Linux安装包的yum源。在进行配置之前,请先删除或备份系统自带的源文件: ```bash # cd /etc/yum.repos.d/ # rm -rf *.repo ``` 接下来有两种方法...
在CentOS 6.4和Redhat 6上部署Hadoop时,lib包是必不可少的。安装过程中,需要将lib目录下的所有JAR文件添加到Hadoop的类路径(CLASSPATH)中,确保Hadoop能正确识别并加载所有依赖。同时,系统环境需要满足一定的...
传智博客hadoop视频教程(3.4G)完整高清 ...Hadoop介绍入门、安装部署(部署环境:redhat linux企业版)、到基本原理的讲解,再到实例项目开发应用。 链接长期有效,如有未下载成功情况,留邮箱或私信