整了一天HBase集群配置,终于可以运行,明天测试,今天做个小结。
1:需要配置SSH密钥
master机: 1):ssh-keygen -t rsa 两个回车
2):cp id_rsa.pub authorized_keys
3):将authorized_keys 文件复制到各个slave(DataNode)机器
scp /home/Administrator/.ssh/authorized_keys 机器名:/home/Administrator/.ssh/
4):在所有机器执行用户权限命令chmod
chmod 644 authorized_keys
5):测试 ssh 机器名,查看能否登陆
注意:ssh localhost出现 closed by connection:1,需要在服务里点击属性,登陆,查找配置一个用户,重新启动即可。
2:1):host name配置
cygwin下就是更改用户名,我的电脑那里
linux下 vi /etc/hostname
2):往host中添加机器的hostname和IP。Master需要知道所有的slave的信息。对应的slave只需要知道Master和 自身的信息即可。
vi /etc/hosts
192.169.1.109 机器名
3: hadoop配置
1): 所有core-site.xml fs.default.name=> hdfs://master:9000
2):所有hdfs-site.xml dfs.permissions=>false, dfs.replication=>1
3):所有mapred-site.xml mapred.job.tracker=>192.168.1.109:9001
4):masters添加master的IP, slaves添加slave的IP
4: 需要去掉hadoop的安全模式 ./hadoop dsfadmin -safemode leave
最后查看 http://192.168.1.109:50030/jobtracker.jsp
4: HBase配置
1): hbase-site.xml
<configuration> <property>
<name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.1.10:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name> <value>192.168.1.9,192.168.1.17,192.168.1.18</value> </property>
</configuration>
hbase.zookeeper.quorum 的个数必须是奇数。
2): hbase-env.sh export HBASE_MANAGES_ZK=true
3): regionservers 添加DataNode的IP
4): 把 hadoop/下hadoop-core.jar代替原来的hbase/lib/下的hadoop-core-0.20-append-r1056497.jar
(解决错误 org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41) )
注意 :每个机器的hadoop,hbase存放的目录要一致
最后http://192.168.1.10:60010/master.jsp
分享到:
相关推荐
小结 在本文中,我们详细介绍了如何配置 HBase 和 ZooKeeper,以便更好地理解它们之间的交互。我们首先配置了 ZooKeeper,然后配置了 HBase,最后使用 Java API 连接 HBase 集群。这些配置和 Java API 是使用 ...
2-1 HBase简介及其在大数据生态圈的位置 2-2 HBase数据存储模型及与关系型数据库的区别 2-3 Hadoop伪分布式集群安装 2-4 HBase伪分布式集群安装 2-5 HBase基础架构 2-6 HBase阶段小结 第3章 HBase原理与实战 介绍...
#### 四、小结 - 《hbase权威指南》不仅是一本详尽的技术手册,也是理解HBase架构和实现原理的重要参考书。它覆盖了从理论基础到实际应用的各个方面,对于希望深入学习HBase的技术人员来说非常有价值。通过本书的...
#### 小结 HBase Coprocessor 作为一种高级特性,不仅扩展了 HBase 的功能,还极大提升了数据处理的灵活性和效率。通过引入 Observer 和 Endpoint 机制,HBase 不仅能更好地支持复杂的数据处理需求,还能在安全性...
#### 实验小结 - **遇到的问题及解决方法**: - 在使用HBase Shell时出现错误提示:“ERROR: KeeperErrorCode = NoNode for /hbase/master”,这表示Master进程未启动。 - 解决方法:使用命令`./bin/hbase-daemon...
2. **图形化工具**:提供直观的安装、管理和监控工具,简化集群配置和优化。 3. **I/O优化**:改进的HDFS文件读写算法,提升系统扩展性和集群性能。 4. **动态数据复制策略**:根据数据的热度动态调整复制策略,增加...
20110.9 小结 206第11章 Hive及Hadoop群 20711.1 Hive 20711.1.1 安装与配置Hive 20811.1.2 查询的示例 21011.1.3 深入HiveQL 21311.1.4 Hive小结 22111.2 其他Hadoop相关的部分 22111.2.1 HBase 22111.2.2 ...
压缩包子文件的文件名称列表为“基于CDH6.3.1的Phoenix安装包”,表明该压缩包包含所有必要的文件,用于在CDH 6.3.1集群上安装和配置Phoenix。 在部署和使用这个Phoenix Parcel时,需要注意以下步骤: 1. 下载:...
报告不仅详细记录了实验过程,还包括了数据预处理、存储、查询和分析等步骤,并且针对每个部分都提出了问题小结和思考,体现了研究生对所学知识的实际应用能力。 在实验介绍部分,涂大喜详细描述了所选实验——网站...
6.8 小结:这部分总结了Hadoop 2.0家族的主要组件及其在大数据处理中的作用,强调了它们在云计算环境中的重要性。 通过这个系列的课程,学习者可以从基础到高级全面了解云计算和Hadoop 2.0,不仅适合初学者入门,也...
四、小结与教学反思 在完成这一部分的学习后,学生应该能够理解Ambari在Hadoop管理中的角色,以及如何准备和配置一个适合Hadoop运行的基础环境。教师需要强调实践操作的重要性,鼓励学生动手实践,以便更好地理解和...
6.9 小结 Hadoop 2.0 家族是一个包含多个互补项目的生态系统,共同构成了一个强大的大数据处理和分析平台。从数据存储(HDFS)、分布式协调(ZooKeeper)、实时数据库(HBase)、数据分析(Pig、Hive)、工作流调度...
- 使用`ToolRunner`提交作业到Hadoop集群。 通过这个实验,学生将深入理解Hadoop MapReduce的工作原理,掌握如何处理自定义数据类型,使用Combiner优化性能,以及如何通过Eclipse提交和管理MapReduce任务。这些都是...
**课件与资源**:提供的课件和资源如“Hadoop+Kerberos+Sentory.pdf”、“课件.pdf”、“Kerberos概念.png”和“Hadoop-Kerberos-模块小结知识点划分.xlsx”应该包含了更详细的步骤解释、示例配置和Kerberos原理图解...
1.9 Zookeeper小结 Zookeeper作为一个分布式协调服务,其设计目标是确保分布式数据的一致性和可靠性,同时提供简单易用的API给应用层,是实现分布式系统协调机制的基石。 2. 设计思想 Zookeeper的设计思想主要基于...