参考网站:http://blog.csdn.net/zhangheng1225/article/details/8246785
有项目需要用到HBase,配置Hadoop集群的情况如下:
OS : Ubuntu 11.04
Hadoop 2.02
三台虚拟机IP分配如下:
192.168.128.131 master 兼slave
192.168.128.132 slave
192.168.128.133 slave
配置好后:
master结点上操作
1. bin/hadoop namenode -format
2. bin/hadoop start-all.sh
3. 用jps 命令发现个任务启动正常(NameNode TaskTracker SecondaryNameNodeDataNode)
在两个slave结点上用jps命令发现个任务启动正常(TaskTracker DataNode)
问题: master 结点上执行 bin/hadoop dfs -put 命令时出现如下错误:
INFO ipc.Client: Retrying connect toserver: localhost/192.168.128.131:9000. Already tried 0time(s).
INFO ipc.Client: Retrying connect toserver: localhost/192.168.128.131:9000. Alreadytried 1 time(s)......
打开http://master:50070查看HDFS的情况,LiveNode结点为0 ....
查了不少资料,可能报错的原因很多吧,我的问题出在master结点上的/etc/hosts配置文件上
虚拟机重启后,系统在/etc/hosts文件中自动添加了如下两行
127.0.0.1 localhost master #Addedautomaticly by ubuntu 。
::1 localhost6 master
只需在每个节点的hosts文件中把这两行注释掉就可以了
# 127.0.0.1 localhost master #Addedautomaticly by ubuntu 。
# ::1 localhost6 master
OK ,在运行bin/hadoop dfs 命令就不报错了,打开http://master:50070查看HDFS的情况,LiveNode结点为3 ,说明没问题了。
第二种情况:slave节点的DataNode服务未能启动
原因:NameNode格式化后,各slave节点对应的hdfs-site.xml中配置的hdfs文件存储目录未被删除
假设hdfs-site.xml配置如下
<property>
<name>dfs.name.dir</name>
<value>/opt/hadoop/hadoopfs/name</value>#hadoop的name目录路径
<description> </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/opt/hadoop/hadoopfs/data</value>
<description></description>
</property>
解决办法是:
1.在所有节点删除>/opt/hadoop/hadoopfs/name及>/opt/hadoop/hadoopfs/data
2.重新格式化NameNode,并启动hadoop
http://blog.csdn.net/wzm112/article/details/8684908
相关推荐
NULL 博文链接:https://ouyida3.iteye.com/blog/1144326
Flink-1.11.2与Hadoop3集成JAR包,放到flink安装包的lib目录下,可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the ...这个报错,实现Flink与Hadoop的集成
hadoop-client-minicluster-3.1.1.jar hadoop-mapreduce-client-app-3.1.1.jar hadoop-mapreduce-client-shuffle-3.1.1.jar hadoop-yarn-server-common-3.1.1.jar hadoop-client-runtime-3.1.1.jar hadoop-mapreduce...
向yarn提交任务时Retrying connect to server 0.0.0.0:8032异常
自己编译的64bithadoop-2.2.0版本 [INFO] Reactor Summary: ...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
在这个场景中,我们有两个安装包:`hadoop-2.6.0-cdh5.7.0.tar.gz` 和 `jdk-7u80-linux-x64.tar.gz`,分别代表了CDH5.7.0版本的Hadoop和Java 7的64位Linux版本。 首先,让我们深入了解一下Hadoop。Hadoop的核心由两...
hadoop-2.2.0 64bit下载,自己编译的 [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................ SUCCESS [1.834s] [INFO] Apache Hadoop Project POM ...........................
hadoop3.3.0源码 # 科学上网下载比较快,可以自己电脑下好了在上传到服务器 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-src.tar.gz...tar -zxvf hadoop-3.3.0-src.tar.gz # maven构建
标题 "hadoop-3.3.1-aarch64.tar.gz" 暗示这是一个针对aarch64架构(ARM64)的Hadoop 3.3.1版本的压缩包,适合在运行M1芯片(苹果公司的ARM架构处理器)的Mac系统上使用。Hadoop是一个开源的分布式计算框架,它允许...
赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...
Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...
标题中的"hadoop-2.6.0-cdh5.14.2.tar.gz"是一个针对Apache Hadoop的软件包,具体来说是CDH(Cloudera Distribution Including Apache Hadoop)5.14.2版本,它基于Hadoop 2.6.0。CDH是由Cloudera公司提供的一个开源...
标题中的"hadoop-2.7.4-with-windows.tar.gz"是一个针对Windows操作系统的Hadoop发行版,版本号为2.7.4。这个压缩包采用了GNU tar格式,并进行了gzip压缩,这种格式通常在Linux和Unix系统中使用,但在Windows环境下...
标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包,它包含了运行Hadoop所需的特定于Windows的工具和配置。`winutils.exe`是这个工具包的关键组件,它是Hadoop在Windows上的一...
赠送jar包:hadoop-mapreduce-client-common-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-common-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-common-2.6.5-sources.jar; 赠送Maven依赖信息...
这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了优化。让我们深入了解一下 Sqoop 的核心功能、工作原理以及如何在 Hadoop 环境中...
在这个“hadoop-2.6.0-cdh5.7.0.tar.gz”压缩包中,我们可以预期找到的是一个完整的Hadoop 2.6.0 CDH5.7.0安装包。这个安装包通常会包含以下几个关键部分: 1. **Hadoop Distributed File System (HDFS)**:HDFS是...
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
赠送jar包:hadoop-yarn-server-resourcemanager-2.6.0.jar; 赠送原API文档:hadoop-yarn-server-resourcemanager-2.6.0-javadoc.jar; 赠送源代码:hadoop-yarn-server-resourcemanager-2.6.0-sources.jar; 赠送...