`
l_mai
  • 浏览: 69967 次
社区版块
存档分类
最新评论
  • waret: "&" "ctrl+z& ...
    2011-12-13
  • waret: 在软件设计的过程中中有一些基本的原则,其中有一条是少用继承,多 ...
    2011-11-14
  • waret: 1、序列化是干什么的?  简单说就是为了保存在内存中的各种对象 ...
    2011-11-15
  • waret: 吼吼~最小长度为5~
    2011-10-22

hadoop集群配置问题及思考

 
阅读更多
遇到的问题如下:
网上的帖子一般比较重步骤,每一步都很详细,但没有说明为什么,读者容易因为不知道为什么,而忽视一些问题,安装出错也不知道如何解决。所以写上一些为什么还是必要的。
1.SSH问题
1)集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码访问slave中的每台机器,slave也能无密码访问master。Slave间不需要无密码访问彼此。这是因为hadoop的中心管理机制,master需要向slave传送管理、控制信息,slave需要向master汇报节点的情况等。这期间需要无密码访问,而slave间没有直接的通信。
2)相同用户名和机器名的问题。如果集群中机器的用户名和机器名都相同会造成SSH无密码访问的失败。SSH无密码访问的机制,大概的说是目标机器将公钥传给主机,主机存在文件中,当主机想要访问目标机器时,直接从文件中读取密码,不需要再手动输入。而一台机器可能保存多台机器的公钥,这就需要key来查找。在安装时发现公钥中用“用户名@机器名”的字样。发现如果用户名和机器名完全相同会造成密码查找失败。说明key值可能和用户名和机器名有关。这时需要修改机器名,因为相同的用户名能够简化配置。
3)别名。可以修改/etc/hosts文件,将集群中的机器的ip与一个别名相对应,这样配置时只需记住别名,不需要记住ip。
4)相同用户名。很多安装步骤中都说要创建一个单独的用于hadoop的用户名。相同的用户名可以使配置简单。master和slaves的配置只需要配置ip,不需要再使用用户名@ip的形式。并且ssh时也不再需要用户名@ip的形式,直接ssh <ip>即可。。
5)修改/etc/hosts。修改/etc/hosts会造成ssh无密码访问失效。重启可能能够解决问题。我是重新配置了无密码访问。重启是否起作用下次再试。
2.配置文件问题
必须要配置的几个xml中,<>标签中配置的东西尽量不要有空格。配置地址和端口的地方,地址是已hdfs://开头。

分享到:
评论

相关推荐

    Hadoop集群部署及测试实验(三).docx

    ### Hadoop集群部署及测试实验知识点总结 #### 一、实验背景与目标 **实验标题:** Hadoop集群部署及测试实验(三) **实验描述:** 本次实验旨在通过JAVA API实现MapReduce的经典案例——倒排索引,进一步熟悉...

    hadoop网盘小项目介绍及相关代码

    - **Hadoop集群部署**:了解如何在虚拟机环境下搭建Hadoop集群,掌握Hadoop的基本配置与使用方法。 - **MySQL数据库集成**:学会在Eclipse中集成MySQL数据库,并通过JDBC进行数据交互。 - **文件上传与处理**:熟悉...

    HADOOP的问题和下一代解决方案

    HADOOP问题和下一代解决方案的知识点涉及的内容非常广泛,包括Hadoop的开源特性、商业支持、架构问题以及...这对于企业来说,意味着能够更加高效和低成本地处理大数据,同时也提出了对传统Hadoop集群架构的重新思考。

    hadoop-2.8.1源码

    - Hadoop 2.8.1中,Zookeeper常用于集群中的配置管理、命名服务和分布式同步等,保证了系统的稳定运行。 通过阅读Hadoop 2.8.1源码,我们可以深入了解分布式系统的设计理念,理解如何实现数据的高效存储和处理。这...

    大数据hadoop的暂时性的小总结.docx

    安装完成后,可以通过`http://192.168.52.100:50070/dfshealth.html#tab-overview`等URL来检查Hadoop集群的状态。 Hadoop的shell命令是日常操作HDFS的主要工具。基本命令如`yarn jar`运行MapReduce作业,`hdfs dfs ...

    Hadoop平台技术 模块1 Hadoop概述-单元设计.docx

    反思实践,整理学习笔记课后作业(1) 在职教云平台上完成相关练习题(2) 写一篇关于 Hadoop 集群搭建的心得体会教师讲解职教云教师:布置作业,提供指导学生:深入思考,完成作业 【知识点详解】 Hadoop 是一个开源...

    实验项目 MapReduce 编程

    接着,实验在Hadoop集群的主节点上配置了MapReduce的开发环境,这里选择了Eclipse,而描述中提到的IDEA也是常见选择。开发者需要熟悉如何在IDE中设置Hadoop的环境,以便编写和调试MapReduce程序。 实验的核心部分是...

    实验1-安装Hadoop-孙淼1

    集群配置阶段,需要设定Hadoop守护进程的运行环境和参数,如NameNode和DataNode,以及JobTracker和TaskTracker。这涉及到修改配置文件,确保所有节点间的通信和数据存储能够正常进行。完成这些步骤后,学生需对实验...

    hadoop笔记

    启动Hadoop集群有三种模式:本地模式、伪分布式模式和完全分布式模式。本地模式仅在单个JVM中运行所有服务,而伪分布式模式在一台机器上模拟分布式环境,完全分布式则在多台机器上运行。\n\n5. 使用Hadoop命令进行...

    Hadoop实战

    1699.3.2 配置集群类型 1699.4 在EC2上运行MapReduce程序 1719.4.1 将代码转移到Hadoop集群上 1719.4.2 访问Hadoop集群上的数据 1729.5 清空和关闭EC2实例 1759.6 Amazon Elastic MapReduce和其他AWS服务 1769.6.1 ...

    源码笔ddddddd记.7z

    7. **优化技巧**:提供配置参数调整、性能监控和优化的建议,以提高Hadoop集群的效率。 8. **错误排查与调试**:介绍如何诊断和解决Hadoop集群中的常见问题,以及如何进行问题定位和调试。 9. **版本更新**:可能...

    云计算与数据挖掘实验报告(共四个).docx

    实验中,学生需要学习如何在Hadoop集群上操作HDFS,如文件的上传、下载和管理。 4. **Linux环境变量配置**:实验过程中,学生遇到的主要挑战是环境变量配置错误,这直接影响到软件的运行。正确的环境变量配置对于...

    NUAACCST 《云计算实验》实验报告参考

    最后,实验总结应包含对实验过程的反思,遇到的问题及解决方案,以及对未来优化Hadoop平台和MapReduce程序的思考。通过这个实验,你不仅掌握了Hadoop的基本操作,还理解了分布式计算模型的原理,为处理大规模数据...

    实验项目 实战 HDFS 实验报告

    在Hadoop集群的主节点上搭建Eclipse或IDEA这样的集成开发环境,是为编写和运行HDFS Java API程序做准备。HDFS Java API允许开发者通过编程方式对HDFS进行高级操作,如创建、读取、修改和删除文件等。 五、HDFS Java...

    物联网数据处理-实验指导书(完整版)资料.doc

    预习与思考题的设计鼓励学生深入理解和应用所学知识,例如了解Linux安装和使用,掌握常用命令的用法,以及在Hadoop环境中设置Java环境变量,查看变量值等。这些任务有助于巩固理论知识,提升实际操作技能。 总的来...

    《大数据技术原理及应用》课程报告

    学生通过实践操作,能够更好地掌握如何构建和优化Hadoop集群。 同时,报告还包括了MySQL环境配置、HBase环境配置、Hive环境配置、Sqoop环境配置和Eclipse的安装。MySQL作为关系型数据库,在数据存储方面起着至关...

    MapReduce Tutorial 思考总结

    1. **前置条件**:在开始MapReduce工作之前,确保Hadoop集群已经正确安装、配置并能正常运行至关重要。这包括了DataNodes、NameNodes、NodeManagers和ResourceManager等组件的配置。 2. **概览**:MapReduce任务将...

    日制分析项目

    4. 大数据集群搭建:文件详细介绍了Hadoop和Spark集群的搭建过程,包括集群的搭建、版本选择和集群配置。这些集群的搭建是进行大规模数据处理和分析的基础。 5. Scala的安装:由于Spark是基于Scala语言的,文件中...

    大数据日志分析实战

    项目中提到了Hadoop集群的搭建过程,这是大数据日志分析的基础部分。 Spark是一个高性能的数据处理框架,能够运行在Hadoop、Mesos等之上,提供了快速的分布式计算能力。项目中详细说明了Spark集群的搭建,包括Scala...

    1512001066_吴跟强_工程项目实践报告1

    实验目标旨在让学生理解大数据的重要性,掌握Linux基础,搭建Hadoop集群,熟悉HDFS分布式文件系统,学习MapReduce开发,运用Flume传输数据,使用Spark处理数据,配置Nginx反向代理,以及掌握HighCharts插件制作图表...

Global site tag (gtag.js) - Google Analytics