`

hbase的重建

 
阅读更多

本文主要讨论hbase中如何将集群环境转换为单机环境。如果你认为把不用的regionserver停止就可以的话,你就错了,这时整个hbase会不段的报错。下面就以不破坏正常的hdfs为前提,将原有hbase砍掉重新使用。

 

假设现在你的hadoop和hbase已经在运行中,并且hbase有多个regionserver:

1 停止hbase

 stop-hbase.sh

使用jps命令查看,这时应该没有HMaster进程,而只有hadoop在运行就OK;

2 修改conf/hbase.site.xml

<property>
      <name>hbase.zookeeper.quorum</name>
      <value> your_host_name,  ... </value>
    </property>

 

修改

conf/regionservers

仅仅添加当前的主机名字即可

3 删除在hbase-site.xml中所指定的hbase.tmp.dir,相关的log,pid文件,它们存放在hadoop/hbase-***.****中

rm -rf  /hadoop/hbase-*

删除hbase在hdfs上的内容

hadoop fs -rmr /hbase

4 重新启动hbase

start-hbase.sh

 

小技巧:

hbase shell模式下,提示的信息会很多,可以更改日志的答应等级:

 conf/log4j.properties 将level设置低一点

# Custom Logging 

levelslog4j.logger.org.apache.zookeeper=ERROR

log4j.logger.org.apache.hadoop.hbase=ERROR

此时就只显示错误信息了
分享到:
评论

相关推荐

    hbase和hadoop数据块损坏处理

    * hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair:重建元数据表 四、HBase 备份与恢复 HBase 备份与恢复是非常重要的,可以防止数据丢失。HBase 提供了多种备份与恢复方法,包括 Export、Import、...

    使用HBase构建大数据生态.pdf

    但某些变更操作可能需要停机,例如,当涉及到行键更改时,因为这需要重建索引和数据的重新分布。 由于技术限制,文档的部分内容可能无法完全准确地反映在OCR扫描结果中。然而,根据目前提供的信息,我们可以看到...

    大数据-数据迁移-hive、hbase、kudu迁移

    这可能包括手动处理事务状态、分步迁移数据以及在目标平台上重建事务元数据。实施迁移时,需确保兼容性,因为Hive的表结构、分区和元数据都需要精确地在新环境中复现。此外,对于大规模数据,可能需要分批迁移,同时...

    360HBASE二级索引的设计与实践

    7. **索引重建**:为了应对数据模型变化或性能瓶颈等情况,有时需要重建二级索引。这是一个涉及数据重组织的过程,需要谨慎处理。 8. **优化**:通过对查询模式的深入分析,可以进一步优化索引设计,减少索引大小,...

    HBase-云计算的分布式数据库

    3. **动态列**:HBase允许用户在不需要重建表的情况下添加新的列族,这为数据模型提供了极大的灵活性。 4. **无事务**:HBase不支持复杂的事务处理,主要提供简单的CRUD操作。这是因为HBase被设计用于处理大规模数据...

    BigDataHBaseESDemo-src_20200708_hbase_elasticsearch_

    7. **监控和维护**:学习如何监控两个系统的性能,如Elasticsearch的JVM内存使用、索引重建时间,以及HBase的Region分布和负载情况,以便及时调整和优化。 通过这个项目,开发者可以学习到如何在大数据环境下结合...

    奇虎360 HBASE 二级索引的设计与实践

    奇虎360 HBASE二级索引的设计与实践内容总结: 背景介绍: 在奇虎360的实际应用中,仅通过Rowkey(RK)进行索引存在一系列问题。例如,索引较为单一,无法满足多维度查询需求,例如字段或列的多维度查询。此外,...

    藏经阁-HBase in Practise- 性能、监控和问题排查.pdf

    可以通过检查 HBase 的日志、备份数据和重建数据来解决问题。 * 性能问题:HBase 中的性能问题是非常常见的。可以通过检查 HBase 的配置、调整 RegionServer 的配置和优化 IO_performance 来解决问题。 HBase 的...

    hbase运维手册

    ### HBase运维手册知识点解析 #### 一、Transwarp HBase运维管理工具清单 **1.1 HBase运维管理工具清单** ##### 1.1.1 Canary Canary是Transwarp HBase中用于健康检查的一个工具。它可以定期检测集群的健康状况,...

    Hadoop2.7Hbase1.1.3高可用集群安装与部署.pdf

    2. 当 Active RM 故障,Standby RM 会接管并从 Zookeeper 读取相应作业信息,重建作业的内存信息。 3. Standby RM 开始接受 NodeManager 心跳,并接受客户端提交作业的请求等。 #### 五、搭建高可用 Hadoop 集群 **1....

    藏经阁-HBase 2.0 在360的技术改进与应用实践.pdf

    - 索引重建:为了保持索引数据的最新性,360还实施了索引重建机制,定期或在必要时重新生成索引数据,确保查询性能。 通过这些实践和改进,360成功地利用HBase 2.0处理海量数据,并提升了查询效率,这为我们提供了...

    第四十九章:Hbase分布式数据库1

    在故障恢复时,HRegionServer可以通过HLog重建数据。 6. ZooKeeper:用于协调Hbase集群,存储ROOT和META表,提供元数据查找服务。ZooKeeper也负责HRegionServer的故障检测和HMaster的选举。 7. Client:客户端通过...

    20211214自学总结版本--HBase.doc

    当RegionServer失败时,HLog 用于重建数据。 通过上述特性,HBase 成为了大数据领域中处理大规模结构化数据的重要工具,广泛应用于日志分析、实时数据检索和其他大数据应用场景。理解并熟练掌握这些知识点,对于...

    hbase fsimage损坏处理问题.docx

    NameNode会尝试从剩余的`edits`文件中重建元数据。 4. **检查点操作**:如果问题仍然存在,执行手动检查点操作(`hadoop dfsadmin -safemode enter`,`hadoop dfsadmin -saveNamespace`,`hadoop dfsadmin -safemode...

    为什么我建议需要定期重建数据量大但是性能关键的表.doc

    为何需要定期重建数据量大但是性能关键的表 在高并发场景下,数据库的性能是一个关键因素。为了保证业务的稳定运行,需要对数据库进行合理的设计和优化。本文讨论了为什么需要定期重建数据量大但是性能关键...* HBase

    大数据集群迁移方案

    这样可以快速重建Hive表及其相关联的数据结构。 - 可能需要使用`msck repair table`命令来修复数据不能被Hive识别的情况。不过,在正确的迁移策略下,这种情况不太可能发生。 ##### HBase元数据迁移 1. **前提...

    一种基于大数据云计算的地震房屋损失评估模型.pdf

    在大数据时代背景下,...该模型不仅能够快速处理大量地震数据,而且能够应对数据的高速增长和异构化问题,为后续赈灾和灾害重建提供了重要的数据支持和技术保障。在大数据和云计算时代,这种模式具有广泛的应用前景。

    基于大数据用云计算方法对地震房屋损失评估的研究.pdf

    在地震房屋损失评估的研究中,利用Hadoop MapReduce分布式计算模型,结合HBase数据库,能够有效处理地震房屋损失数据。Hadoop是一个开源的分布式存储与计算平台,它由HDFS(Hadoop Distributed File System,分布式...

    私有云迁移到公有云的大数据迁移方案

    本篇文章将详细介绍一个从私有云迁移到公有云的大数据迁移方案,该方案涉及多个步骤和技术组件,包括但不限于FastDFS、HBase、Solr、MySQL以及HDFS等关键系统的迁移流程。 #### 移动应用程序与虚拟机实例的准备 在...

    基于Spark与NoSQL的实时数据处理实践.pptx

    例如,通过容器化快速重建HBase或ScyllaDB集群以提高服务稳定性,并根据业务线集群进行热备。在扩容和性能优化方面,需要关注Region数量、Stream并发数、CPU和内存资源,以及Kafka Topic分区数量,根据数据量变化...

Global site tag (gtag.js) - Google Analytics