`
uuu999ggg
  • 浏览: 42510 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hbase集群配置小结

阅读更多

整了一天HBase集群配置,终于可以运行,明天测试,今天做个小结。

 

1:需要配置SSH密钥

     master机:  1):ssh-keygen -t rsa  两个回车

                        2):cp id_rsa.pub authorized_keys

                        3):将authorized_keys 文件复制到各个slave(DataNode)机器

                             scp /home/Administrator/.ssh/authorized_keys 机器名:/home/Administrator/.ssh/

                        4):在所有机器执行用户权限命令chmod

                             chmod 644 authorized_keys

                        5):测试 ssh 机器名,查看能否登陆

    注意:ssh localhost出现 closed by connection:1,需要在服务里点击属性,登陆,查找配置一个用户,重新启动即可。

 

2:1):host name配置

         cygwin下就是更改用户名,我的电脑那里

         linux下  vi /etc/hostname

      2):往host中添加机器的hostname和IP。Master需要知道所有的slave的信息。对应的slave只需要知道Master和            自身的信息即可。

           vi /etc/hosts

           192.169.1.109 机器名

 

3: hadoop配置

 

      1): 所有core-site.xml   fs.default.name=> hdfs://master:9000

      2):所有hdfs-site.xml     dfs.permissions=>false, dfs.replication=>1

      3):所有mapred-site.xml   mapred.job.tracker=>192.168.1.109:9001

      4):masters添加master的IP, slaves添加slave的IP

 

4: 需要去掉hadoop的安全模式  ./hadoop dsfadmin -safemode leave

 

最后查看 http://192.168.1.109:50030/jobtracker.jsp

 

 

4: HBase配置

     1): hbase-site.xml  

 

<configuration> <property>  
    <name>hbase.rootdir</name>           <value>hdfs://master:9000/hbase</value> 
</property> 

  <property> 
    <name>hbase.cluster.distributed</name>  
    <value>true</value> 
  </property> 

  <property> 
   <name>hbase.master</name>
   <value>192.168.1.10:60000</value>
 </property>

 <property>  
   <name>hbase.zookeeper.quorum</name>      <value>192.168.1.9,192.168.1.17,192.168.1.18</value> </property> 

</configuration> 
 

hbase.zookeeper.quorum 的个数必须是奇数

2):  hbase-env.sh  export HBASE_MANAGES_ZK=true

3):  regionservers  添加DataNode的IP

4):  把 hadoop/下hadoop-core.jar代替原来的hbase/lib/下的hadoop-core-0.20-append-r1056497.jar

   (解决错误 org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)  )

注意 :每个机器的hadoop,hbase存放的目录要一致

最后http://192.168.1.10:60010/master.jsp

 

0
0
分享到:
评论

相关推荐

    hbase和zookeeper配置

    小结 在本文中,我们详细介绍了如何配置 HBase 和 ZooKeeper,以便更好地理解它们之间的交互。我们首先配置了 ZooKeeper,然后配置了 HBase,最后使用 Java API 连接 HBase 集群。这些配置和 Java API 是使用 ...

    Hbase+Spring boot实战分布式文件存储

    2-1 HBase简介及其在大数据生态圈的位置 2-2 HBase数据存储模型及与关系型数据库的区别 2-3 Hadoop伪分布式集群安装 2-4 HBase伪分布式集群安装 2-5 HBase基础架构 2-6 HBase阶段小结 第3章 HBase原理与实战 介绍...

    hbase权威指南.pdf

    #### 四、小结 - 《hbase权威指南》不仅是一本详尽的技术手册,也是理解HBase架构和实现原理的重要参考书。它覆盖了从理论基础到实际应用的各个方面,对于希望深入学习HBase的技术人员来说非常有价值。通过本书的...

    Hbase coprecessor

    #### 小结 HBase Coprocessor 作为一种高级特性,不仅扩展了 HBase 的功能,还极大提升了数据处理的灵活性和效率。通过引入 Observer 和 Endpoint 机制,HBase 不仅能更好地支持复杂的数据处理需求,还能在安全性...

    南邮大数据存储与管理实验三

    #### 实验小结 - **遇到的问题及解决方法**: - 在使用HBase Shell时出现错误提示:“ERROR: KeeperErrorCode = NoNode for /hbase/master”,这表示Master进程未启动。 - 解决方法:使用命令`./bin/hbase-daemon...

    2013年Intel南京大学大数据技术培训小结

    2. **图形化工具**:提供直观的安装、管理和监控工具,简化集群配置和优化。 3. **I/O优化**:改进的HDFS文件读写算法,提升系统扩展性和集群性能。 4. **动态数据复制策略**:根据数据的热度动态调整复制策略,增加...

    Hadoop实战

    20110.9 小结 206第11章 Hive及Hadoop群 20711.1 Hive 20711.1.1 安装与配置Hive 20811.1.2 查询的示例 21011.1.3 深入HiveQL 21311.1.4 Hive小结 22111.2 其他Hadoop相关的部分 22111.2.1 HBase 22111.2.2 ...

    适用CDH6.3.1的Phoenix parcle编译包

    压缩包子文件的文件名称列表为“基于CDH6.3.1的Phoenix安装包”,表明该压缩包包含所有必要的文件,用于在CDH 6.3.1集群上安装和配置Phoenix。 在部署和使用这个Phoenix Parcel时,需要注意以下步骤: 1. 下载:...

    《大数据技术原理及应用》课程报告

    报告不仅详细记录了实验过程,还包括了数据预处理、存储、查询和分析等步骤,并且针对每个部分都提出了问题小结和思考,体现了研究生对所学知识的实际应用能力。 在实验介绍部分,涂大喜详细描述了所选实验——网站...

    云计算第三版精品课程配套PPT课件含习题(31页)第6章 Hadoop 2.0 大家族(二).pptx

    6.8 小结:这部分总结了Hadoop 2.0家族的主要组件及其在大数据处理中的作用,强调了它们在云计算环境中的重要性。 通过这个系列的课程,学习者可以从基础到高级全面了解云计算和Hadoop 2.0,不仅适合初学者入门,也...

    教案27 项目8 平台化快速部署Hadoop 第1部分 探寻大数据平台及基础环境配置.docx

    四、小结与教学反思 在完成这一部分的学习后,学生应该能够理解Ambari在Hadoop管理中的角色,以及如何准备和配置一个适合Hadoop运行的基础环境。教师需要强调实践操作的重要性,鼓励学生动手实践,以便更好地理解和...

    云计算第三版精品课程配套PPT课件含习题(29页)第6章 Hadoop 2.0 大家族(三).pptx

    6.9 小结 Hadoop 2.0 家族是一个包含多个互补项目的生态系统,共同构成了一个强大的大数据处理和分析平台。从数据存储(HDFS)、分布式协调(ZooKeeper)、实时数据库(HBase)、数据分析(Pig、Hive)、工作流调度...

    Hadoop大数据实训,求最高温度最低温度实验报告

    - 使用`ToolRunner`提交作业到Hadoop集群。 通过这个实验,学生将深入理解Hadoop MapReduce的工作原理,掌握如何处理自定义数据类型,使用Combiner优化性能,以及如何通过Eclipse提交和管理MapReduce任务。这些都是...

    资料-Hadoop集成Kerberos安全技术

    **课件与资源**:提供的课件和资源如“Hadoop+Kerberos+Sentory.pdf”、“课件.pdf”、“Kerberos概念.png”和“Hadoop-Kerberos-模块小结知识点划分.xlsx”应该包含了更详细的步骤解释、示例配置和Kerberos原理图解...

    zookeeper入门材料.pdf

    1.9 Zookeeper小结 Zookeeper作为一个分布式协调服务,其设计目标是确保分布式数据的一致性和可靠性,同时提供简单易用的API给应用层,是实现分布式系统协调机制的基石。 2. 设计思想 Zookeeper的设计思想主要基于...

Global site tag (gtag.js) - Google Analytics