`
li.oo
  • 浏览: 51527 次
  • 性别: Icon_minigender_2
  • 来自: 杭州
社区版块
存档分类
最新评论

HBase replication 实践

 
阅读更多

1. 测试环境

 master-slave模式

 master包含3台机器,1台NameNode(Master),2台DataNode(Slave)

 slave包含3台机器,1台NameNode(Master),2台DataNode(Slave)

2. 分别安装hadoop,zookeeper,hbase(不使用hbase自带zookeeper)

  配置和hadoop+zookeeper+hbase的一般集群配置没有区别。要特别说明的是zookeeper的配置,在这里绕了很久,我才配置成功。在这里特别记录下

  在6台机器上均独立安装了zookeeper,修改zookeeper/conf/zoo.cfg

  dataDir=/hadoop/data/zookeeper

# the port at which the clients will connect

clientPort=2222

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=master59:2887:3887

server.2=slave58:2888:3888

server.3=slave57:2889:3889

server.4=master40:2887:3887

server.5=slave41:2888:3888

server.6=slave42:2889:3889

然后将zoo.conf 拷贝到hbase_classpath(在hbase-env.xml中设定)路径下。然后在/hadoop/data/zookeeper目录下建myid文件,里面只需要写上各个server的id号,比如在master59机器上为1,slave58机器上写2.修改配置完成后,运行zkServer.sh start 命令启动zookeeper。可以透过zkServer.sh status命令检查zookeeper运行状态。

分享到:
评论

相关推荐

    HBase企业应用开发实战-高清

    这部分内容不仅提供了实践经验,也包含了许多从真实项目中总结出的最佳实践,对于提升系统运维能力大有裨益。 总之,《HBase企业应用开发实战》是一本全面而深入的HBase指南,无论你是初学者还是经验丰富的开发者,...

    HBase企业应用开发实战-马延辉 孟鑫

    7. **高级特性**:书中涵盖了HBase的高级特性,如Coprocessor(协处理器)、Bulk Load(批量加载)、Secondary Index(二级索引)和Replication(复制),帮助读者更深入地利用HBase。 8. **企业案例分析**:书中的...

    HBase参数修改 PDF 下载

    本篇将深入探讨HBase参数修改的相关知识,旨在帮助Java开发者更好地理解和实践。 一、HBase基本概念 HBase是构建在Hadoop文件系统(HDFS)之上的分布式数据库,支持随机读写,适用于大规模数据的实时访问。它的核心...

    藏经阁-HBase 在网易的实践.pdf

    在本文档中,"藏经阁-HBase 在网易的实践.pdf"主要讲述了网易在使用Apache HBase时的一些实践经验,以及他们对HBase进行的优化措施。以下是对这些内容的详细解读: 1. **HBase服务在网易的应用**: 网易内部有多个...

    Hadoop2.7.5-HBase1.2.6伪分布式安装

    本文将详细介绍如何在本地环境中进行Hadoop2.7.5与HBase1.2.6的伪分布式安装,这是一个适合初学者入门的实践教程。 Hadoop是Apache基金会的一个开源项目,主要由HDFS(Hadoop Distributed File System)和MapReduce...

    hbase在阿里搜索中的应用

    HBase的架构可以大致分为API层、RPC层、分布式管理(包括MTTR故障恢复、Replication数据复制、表处理等)、数据处理核心层(Core)以及底层的HDFS。在实际应用过程中,阿里搜索遇到了多个优化点,以下是其中的几个...

    藏经阁-HBase在苏宁的应用和实践.pdf

    高可用性通过HBase的replication功能确保数据在主备集群间同步,保证了数据的最终一致性,降低了因硬件问题或资源争抢带来的服务中断风险。此外,引入全局流控策略,通过Master节点和Zookeeper协调,对RegionServer...

    藏经阁-HBase at DIDI,看滴滴内部使用HBase的技巧.pdf

    HBase 提供了 Replication 机制,用于实现数据的多副本存储和实时同步。Replication 机制可以提高数据的可用性和可靠性,满足高并发和大流量的应用场景。 4. Connection 管理 HBase 提供了 Connection 管理机制,...

    windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境 配置文件

    <name>dfs.replication <value>1 <name>dfs.name.dir <value>C:\hadoop\data\namenode <name>dfs.data.dir <value>C:\hadoop\data\datanode ``` 2. **配置Hadoop伪分布式模式**: - 修改`etc\...

    Hbase shell常用命令.docx

    在HBase这个分布式列式数据库中,Shell是一个用于与HBase交互的命令行工具,它提供了丰富的命令来执行各种操作。以下是对HBase Shell中一些常用...在实际操作时,建议结合HBase的文档和实践,以更好地掌握这些命令。

    HBase在京东的使用.pdf

    京东作为国内大型电商平台,其对HBase的应用实践对于了解分布式数据库在大规模电子商务环境中的应用具有重要参考价值。 在京东的实践中,HBase的应用现状可以从以下几个方面来分析: 首先,从规模现状来看,京东的...

    Hadoop_HDFS_HBase在centos上部署

    <name>dfs.replication <value>1 <name>dfs.name.dir <value>/usr/local/hadoop/data/namenode <name>dfs.data.dir <value>/usr/local/hadoop/data/datanode ``` 编辑`mapred-site.xml`文件,指定...

    Hadoop和Hbase安装使用教程

    ### Hadoop和Hbase安装使用教程 #### 一、准备工作 在正式开始Hadoop和HBase的安装之前,我们需要做一些准备工作...随着实践的深入,你将更加熟练地掌握这些技术,并能更好地利用Hadoop的强大功能处理大规模数据集。

    03侧田HBase迁移方案的设计与实践12.pdf

    - **Replication**:使用HBase自带的复制功能来迁移实时增量数据,其优点包括错误重试机制和增量数据的不丢失保证。缺点包括不同版本间可能存在的兼容问题、bug修复和升级困难以及同步积压问题难以通过扩展节点解决...

    藏经阁-HBase and OpenTSDB Practices at Huawei.pdf

    Huawei 作为一家领先的科技企业,对 HBase 和 OpenTSDB 的实践和应用进行了深入的研究和应用。在这个报告中,我们将讨论 Huawei 在 HBase 和 OpenTSDB 方面的实践和经验。 HBase Practices 1.1 加速 HMaster 启动...

    眼见不一定为实:调用链HBase倾斜修复.doc

    此外,还可以借助于HBase的特性,如Region Split和Region Replication来缓解倾斜。 在实践中,我们需要注意避免一些常见的误区,例如仅依赖于表面的监控指标来判断数据倾斜,而忽视了RowKey的内在影响。有时候,...

Global site tag (gtag.js) - Google Analytics