- 浏览: 70439 次
最新评论
-
waret:
"&" "ctrl+z& ...
2011-12-13 -
waret:
在软件设计的过程中中有一些基本的原则,其中有一条是少用继承,多 ...
2011-11-14 -
waret:
1、序列化是干什么的? 简单说就是为了保存在内存中的各种对象 ...
2011-11-15 -
waret:
吼吼~最小长度为5~
2011-10-22
遇到的问题如下:
网上的帖子一般比较重步骤,每一步都很详细,但没有说明为什么,读者容易因为不知道为什么,而忽视一些问题,安装出错也不知道如何解决。所以写上一些为什么还是必要的。
1.SSH问题
1)集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码访问slave中的每台机器,slave也能无密码访问master。Slave间不需要无密码访问彼此。这是因为hadoop的中心管理机制,master需要向slave传送管理、控制信息,slave需要向master汇报节点的情况等。这期间需要无密码访问,而slave间没有直接的通信。
2)相同用户名和机器名的问题。如果集群中机器的用户名和机器名都相同会造成SSH无密码访问的失败。SSH无密码访问的机制,大概的说是目标机器将公钥传给主机,主机存在文件中,当主机想要访问目标机器时,直接从文件中读取密码,不需要再手动输入。而一台机器可能保存多台机器的公钥,这就需要key来查找。在安装时发现公钥中用“用户名@机器名”的字样。发现如果用户名和机器名完全相同会造成密码查找失败。说明key值可能和用户名和机器名有关。这时需要修改机器名,因为相同的用户名能够简化配置。
3)别名。可以修改/etc/hosts文件,将集群中的机器的ip与一个别名相对应,这样配置时只需记住别名,不需要记住ip。
4)相同用户名。很多安装步骤中都说要创建一个单独的用于hadoop的用户名。相同的用户名可以使配置简单。master和slaves的配置只需要配置ip,不需要再使用用户名@ip的形式。并且ssh时也不再需要用户名@ip的形式,直接ssh <ip>即可。。
5)修改/etc/hosts。修改/etc/hosts会造成ssh无密码访问失效。重启可能能够解决问题。我是重新配置了无密码访问。重启是否起作用下次再试。
2.配置文件问题
必须要配置的几个xml中,<>标签中配置的东西尽量不要有空格。配置地址和端口的地方,地址是已hdfs://开头。
网上的帖子一般比较重步骤,每一步都很详细,但没有说明为什么,读者容易因为不知道为什么,而忽视一些问题,安装出错也不知道如何解决。所以写上一些为什么还是必要的。
1.SSH问题
1)集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码访问slave中的每台机器,slave也能无密码访问master。Slave间不需要无密码访问彼此。这是因为hadoop的中心管理机制,master需要向slave传送管理、控制信息,slave需要向master汇报节点的情况等。这期间需要无密码访问,而slave间没有直接的通信。
2)相同用户名和机器名的问题。如果集群中机器的用户名和机器名都相同会造成SSH无密码访问的失败。SSH无密码访问的机制,大概的说是目标机器将公钥传给主机,主机存在文件中,当主机想要访问目标机器时,直接从文件中读取密码,不需要再手动输入。而一台机器可能保存多台机器的公钥,这就需要key来查找。在安装时发现公钥中用“用户名@机器名”的字样。发现如果用户名和机器名完全相同会造成密码查找失败。说明key值可能和用户名和机器名有关。这时需要修改机器名,因为相同的用户名能够简化配置。
3)别名。可以修改/etc/hosts文件,将集群中的机器的ip与一个别名相对应,这样配置时只需记住别名,不需要记住ip。
4)相同用户名。很多安装步骤中都说要创建一个单独的用于hadoop的用户名。相同的用户名可以使配置简单。master和slaves的配置只需要配置ip,不需要再使用用户名@ip的形式。并且ssh时也不再需要用户名@ip的形式,直接ssh <ip>即可。。
5)修改/etc/hosts。修改/etc/hosts会造成ssh无密码访问失效。重启可能能够解决问题。我是重新配置了无密码访问。重启是否起作用下次再试。
2.配置文件问题
必须要配置的几个xml中,<>标签中配置的东西尽量不要有空格。配置地址和端口的地方,地址是已hdfs://开头。
发表评论
-
Java再学习
2012-09-04 15:20 0面向对象中的对象,像现实生活中的“对象”或“物品”一样,具有一 ... -
近期总结
2012-08-16 21:10 6651.使用ubuntu系统更新源安装软件,有时就不好用的,比如m ... -
C中的printf
2012-07-22 14:34 729C中的printf计算参数时是从右到左压栈的 -
httpclient解析gzip网页
2012-07-12 11:17 1422转自http://www.cnblogs.com/yesun/ ... -
java string 全角半角转换
2012-07-03 16:38 1165/** * 全角空格为12288,半角空格为32 其他字符 ... -
程序员的美德
2012-06-25 16:22 723对数值敏感 实验的欲望 良好的数学功底 -
ubuntu 挂载虚拟机镜像
2012-06-23 14:54 6901.losetup /dev/loop10 /.....img ... -
如何高效的开会
2012-06-21 16:37 716转自知乎http://www.zhihu.com/questi ... -
ubuntu 命令行使用ftp上传文件
2012-06-19 09:08 25961.ftp 主机IP地址 2.输入用户名和密码 3.mput ... -
mysql数据库的导入和导出
2012-06-19 09:07 722导出: mysqldump 用户名 密码 数据库名 > ... -
mysql 数据库不支持中文编码问题
2012-06-18 22:00 1235mysql默认的编码为latin1.在插入中文时会出现乱码。解 ... -
mysql数据库编码修改
2012-06-18 16:31 861在linux下修改3个my.cnf的1个/etc/mysql/ ... -
HTTP cache-control 管理
2012-06-15 22:28 728cache-control设置为no cache,must-r ... -
mysql数据库建库、建表、插入命令
2012-06-15 22:26 1606建库 create database 库名; use 库名; ... -
java中string的函数split需要注意的地方
2012-06-14 09:37 787split在分隔字符串时,如果被分割的字符串是空字符串,即为“ ... -
近期学习整理
2012-06-13 14:37 6901.group by ...having...构建约束查询 2 ... -
LINUX bash中字符串单引号和双引号的区别
2012-06-04 09:59 986单引号中所有字符都被当做普通字符对待,所有环境变量、转义字符、 ... -
建立软链接和硬链接的命令
2012-06-02 09:08 1269软链接:ln -s 目录或文件 连接名 硬链接:ln -d 文 ... -
LINUX帮助手册区号
2012-05-31 15:20 631区号类别1常用命令2系统调用3库调用4特殊文件5文件格式和惯例 ... -
垃圾回收的分类和发展历史
2012-05-29 15:49 700垃圾回收主要有引用计数法、标记清理法、复制法、增量回收法等。垃 ...
相关推荐
### Hadoop集群部署及测试实验知识点总结 #### 一、实验背景与目标 **实验标题:** Hadoop集群部署及测试实验(三) **实验描述:** 本次实验旨在通过JAVA API实现MapReduce的经典案例——倒排索引,进一步熟悉...
- **Hadoop集群部署**:了解如何在虚拟机环境下搭建Hadoop集群,掌握Hadoop的基本配置与使用方法。 - **MySQL数据库集成**:学会在Eclipse中集成MySQL数据库,并通过JDBC进行数据交互。 - **文件上传与处理**:熟悉...
HADOOP问题和下一代解决方案的知识点涉及的内容非常广泛,包括Hadoop的开源特性、商业支持、架构问题以及...这对于企业来说,意味着能够更加高效和低成本地处理大数据,同时也提出了对传统Hadoop集群架构的重新思考。
- Hadoop 2.8.1中,Zookeeper常用于集群中的配置管理、命名服务和分布式同步等,保证了系统的稳定运行。 通过阅读Hadoop 2.8.1源码,我们可以深入了解分布式系统的设计理念,理解如何实现数据的高效存储和处理。这...
安装完成后,可以通过`http://192.168.52.100:50070/dfshealth.html#tab-overview`等URL来检查Hadoop集群的状态。 Hadoop的shell命令是日常操作HDFS的主要工具。基本命令如`yarn jar`运行MapReduce作业,`hdfs dfs ...
反思实践,整理学习笔记课后作业(1) 在职教云平台上完成相关练习题(2) 写一篇关于 Hadoop 集群搭建的心得体会教师讲解职教云教师:布置作业,提供指导学生:深入思考,完成作业 【知识点详解】 Hadoop 是一个开源...
接着,实验在Hadoop集群的主节点上配置了MapReduce的开发环境,这里选择了Eclipse,而描述中提到的IDEA也是常见选择。开发者需要熟悉如何在IDE中设置Hadoop的环境,以便编写和调试MapReduce程序。 实验的核心部分是...
集群配置阶段,需要设定Hadoop守护进程的运行环境和参数,如NameNode和DataNode,以及JobTracker和TaskTracker。这涉及到修改配置文件,确保所有节点间的通信和数据存储能够正常进行。完成这些步骤后,学生需对实验...
启动Hadoop集群有三种模式:本地模式、伪分布式模式和完全分布式模式。本地模式仅在单个JVM中运行所有服务,而伪分布式模式在一台机器上模拟分布式环境,完全分布式则在多台机器上运行。\n\n5. 使用Hadoop命令进行...
1699.3.2 配置集群类型 1699.4 在EC2上运行MapReduce程序 1719.4.1 将代码转移到Hadoop集群上 1719.4.2 访问Hadoop集群上的数据 1729.5 清空和关闭EC2实例 1759.6 Amazon Elastic MapReduce和其他AWS服务 1769.6.1 ...
7. **优化技巧**:提供配置参数调整、性能监控和优化的建议,以提高Hadoop集群的效率。 8. **错误排查与调试**:介绍如何诊断和解决Hadoop集群中的常见问题,以及如何进行问题定位和调试。 9. **版本更新**:可能...
实验中,学生需要学习如何在Hadoop集群上操作HDFS,如文件的上传、下载和管理。 4. **Linux环境变量配置**:实验过程中,学生遇到的主要挑战是环境变量配置错误,这直接影响到软件的运行。正确的环境变量配置对于...
最后,实验总结应包含对实验过程的反思,遇到的问题及解决方案,以及对未来优化Hadoop平台和MapReduce程序的思考。通过这个实验,你不仅掌握了Hadoop的基本操作,还理解了分布式计算模型的原理,为处理大规模数据...
在Hadoop集群的主节点上搭建Eclipse或IDEA这样的集成开发环境,是为编写和运行HDFS Java API程序做准备。HDFS Java API允许开发者通过编程方式对HDFS进行高级操作,如创建、读取、修改和删除文件等。 五、HDFS Java...
预习与思考题的设计鼓励学生深入理解和应用所学知识,例如了解Linux安装和使用,掌握常用命令的用法,以及在Hadoop环境中设置Java环境变量,查看变量值等。这些任务有助于巩固理论知识,提升实际操作技能。 总的来...
学生通过实践操作,能够更好地掌握如何构建和优化Hadoop集群。 同时,报告还包括了MySQL环境配置、HBase环境配置、Hive环境配置、Sqoop环境配置和Eclipse的安装。MySQL作为关系型数据库,在数据存储方面起着至关...
1. **前置条件**:在开始MapReduce工作之前,确保Hadoop集群已经正确安装、配置并能正常运行至关重要。这包括了DataNodes、NameNodes、NodeManagers和ResourceManager等组件的配置。 2. **概览**:MapReduce任务将...
4. 大数据集群搭建:文件详细介绍了Hadoop和Spark集群的搭建过程,包括集群的搭建、版本选择和集群配置。这些集群的搭建是进行大规模数据处理和分析的基础。 5. Scala的安装:由于Spark是基于Scala语言的,文件中...
项目中提到了Hadoop集群的搭建过程,这是大数据日志分析的基础部分。 Spark是一个高性能的数据处理框架,能够运行在Hadoop、Mesos等之上,提供了快速的分布式计算能力。项目中详细说明了Spark集群的搭建,包括Scala...
实验目标旨在让学生理解大数据的重要性,掌握Linux基础,搭建Hadoop集群,熟悉HDFS分布式文件系统,学习MapReduce开发,运用Flume传输数据,使用Spark处理数据,配置Nginx反向代理,以及掌握HighCharts插件制作图表...