ubuntu10.10每次开机后会在/etc/hosts自动生成一行代码:127.0.0.1 localhost localhost.local,而ubuntu10.04版本则不会。在hadoop中,由于127.0.0.1与主机绑定,导致datanode一直试图链接namenode而连接不上,只要开机后把/etc/hosts 下的127.0.0.1 localhost localhost.local删除即可。
所以ubuntu10.10的hadoop用户注意了,有可能就是这个问题导致的启动hadoop后没有datanodes
我的机器需要删除
127.0.0.1 localhost.localdomain localhost
::1 xuqi86-laptop localhost6.localdomain6 localhost6
127.0.1.1 xuqi86-laptop
只留下
192.168.0.100 xuqi86-laptop # Added by NetworkManager
和
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts
删除 临时文件的内容
rm -rf /tmp/*
然后格式化 namenode,再启动hadoop,就可以正常显示了
分享到:
相关推荐
在Windows环境下启动Hadoop,通常会遇到依赖Cygwin的问题,因为Hadoop最初设计时主要考虑的是类Unix系统。然而,随着技术的发展,现在我们可以在Windows上直接运行Hadoop,无需Cygwin作为桥梁。本教程将详细介绍如何...
启动Hadoop通常涉及启动DataNodes、NameNodes和ResourceManager等组件。在`bin`目录下,可能有名为`start-dfs.sh`和`start-yarn.sh`的脚本,分别用于启动HDFS和YARN(Hadoop的资源调度器)。 **Zookeeper** 是一个...
6. **启动Datanodes和Namenode**:通过`start-dfs.cmd`启动Hadoop分布式文件系统,接着启动DataNodes和NameNode。 7. **检查Hadoop运行状态**:运行`jps`命令,查看是否成功启动了DataNode、NameNode、...
7. **启动Hadoop**:使用`start-dfs.cmd`和`start-yarn.cmd`命令启动Hadoop的DataNodes、NameNode和YARN的ResourceManager。 8. **验证安装**:通过`jps`命令查看运行的Hadoop进程,确认它们已经成功启动。还可以...
5. **启动Hadoop服务**:运行`start-dfs.cmd`和`start-yarn.cmd`来启动DataNodes、NameNode、ResourceManager和其他相关服务。 6. **测试运行**:通过运行`hadoop fs -ls /`检查HDFS是否正常工作。 在Windows环境...
8. **启动Hadoop服务**:最后,通过start-dfs.cmd和start-yarn.cmd脚本启动Hadoop的DataNodes、NameNodes以及ResourceManager等服务。 以上就是在Windows 7环境中安装和配置Hadoop 2.7.2所需的关键步骤,其中hadoop...
7. **启动Hadoop**:通过运行`start-dfs.bat`和`start-yarn.bat`脚本来启动Hadoop的DataNodes、NameNodes以及ResourceManager等服务。 8. **测试安装**:通过运行`hadoop fs -ls /`命令检查Hadoop是否正常运行。 **...
4. **Secondary NameNode的作用**:Secondary NameNode并非用于缩短Hadoop集群启动时间,而是辅助NameNode合并编辑日志,减少NameNode的重启时间。 5. **Hadoop的硬件需求与可靠性**:Hadoop设计允许在普通硬件上...
6. **启动Hadoop服务**:通过运行start-dfs.sh和start-yarn.sh脚本启动Hadoop的DataNodes、NameNodes和YARN的ResourceManager、NodeManager。 7. **验证安装**:使用hadoop fs -ls命令检查HDFS是否正常工作,或者...
- **启动Hadoop服务**:运行`start-dfs.sh`和`start-yarn.sh`脚本,启动Hadoop的DataNodes、NameNodes和YARN的ResourceManager、NodeManager。 - **验证安装**:通过`jps`命令检查Hadoop进程是否正确启动,或者通过...
接着,可以启动Hadoop的各个服务,如DataNodes、NameNodes、ResourceManager和NodeManagers,通常通过`start-dfs.sh`和`start-yarn.sh`脚本进行。 集群运行后,可以使用Hadoop的命令行工具(如`hadoop fs`)进行...
5. 启动Hadoop服务,包括DataNodes、NameNodes、ResourceManagers等。 6. 使用hadoop和hdfs命令行工具进行数据操作和运行MapReduce作业。 总的来说,Hadoop 2.7.0在Windows上的安装和配置虽然相比Linux更复杂,但...
一键启动Hadoop集群涉及到以下步骤: 1. **环境检查**:首先,脚本会检查所有节点上的环境配置,包括Java环境、Hadoop配置、环境变量等,确保集群运行的前提条件满足。 2. **HDFS格式化**:对于新集群,需要对HDFS...
6. **启动Hadoop**:启动Hadoop服务,包括DataNodes、NameNode、Secondary NameNode和TaskTrackers。可以使用 `start-dfs.sh` 和 `start-mapred.sh` 脚本。 7. **验证安装**:通过运行Hadoop自带的示例程序,如...
5. **启动Hadoop**:启动Hadoop服务通常包括DataNodes、TaskTrackers、JobTracker和NameNode等组件。你可以通过执行相应的启动脚本来开启这些服务,例如`start-dfs.sh`和`start-mapred.sh`。 6. **HDFS操作**:...
使用CMD打开命令行,进入Hadoop的`bin`目录,然后运行`start-dfs.sh`和`start-yarn.sh`脚本来启动Hadoop的DataNodes、NameNode和YARN服务。如果你看到所有的服务都成功启动,那么恭喜,你已经成功部署了Hadoop 2.7....
5. 启动Hadoop服务,包括DataNodes、NameNode、ResourceManager等。 6. 运行测试任务,验证Hadoop集群是否正常工作。 此外,CDH还提供了额外的管理和监控工具,如Cloudera Manager,方便用户对整个集群进行一站式...
6. **启动Hadoop服务**:通过`start-dfs.cmd`和`start-yarn.cmd`命令启动Hadoop的DataNodes、NameNodes以及YARN的ResourceManagers和NodeManagers。 7. **验证安装**:使用`jps`命令查看是否所有服务都已启动,然后...