`
bupt04406
  • 浏览: 347710 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hbase split 导致compact abort的日志

 
阅读更多

 

2013-06-06 14:58:43,131 INFO org.apache.hadoop.hbase.regionserver.SplitTransaction: Starting split of region TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e.
2013-06-06 14:58:43,131 DEBUG org.apache.hadoop.hbase.regionserver.SplitTransaction: regionserver:60020-0x13f13f3aa5b002b Creating ephemeral node for 974515d502b3876142181e57e3d4a74e in SPLITTING state
2013-06-06 14:58:43,134 DEBUG org.apache.hadoop.hbase.zookeeper.ZKAssign: regionserver:60020-0x13f13f3aa5b002b Attempting to transition node 974515d502b3876142181e57e3d4a74e from RS_ZK_REGION_SPLITTING to RS_ZK_REGION_SPLITTING
2013-06-06 14:58:43,137 DEBUG org.apache.hadoop.hbase.zookeeper.ZKAssign: regionserver:60020-0x13f13f3aa5b002b Successfully transitioned node 974515d502b3876142181e57e3d4a74e from RS_ZK_REGION_SPLITTING to RS_ZK_REGION_SPLITTING
2013-06-06 14:58:43,139 DEBUG org.apache.hadoop.hbase.regionserver.HRegion: Closing TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e.: disabling compactions & flushes
2013-06-06 14:58:43,139 DEBUG org.apache.hadoop.hbase.regionserver.HRegion: waiting for 1 compactions to complete for region TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e.
2013-06-06 14:58:43,772 INFO org.apache.hadoop.hbase.regionserver.StoreFile: NO General Bloom and NO DeleteFamily was added to HFile (hdfs://dw35.kgb.sqa.cm4:54310/hbasess/TestTable/974515d502b3876142181e57e3d4a74e/.tmp/e8d0069c50e140f39b688601a27e38e5)
2013-06-06 14:58:43,774 INFO org.apache.hadoop.hbase.regionserver.StoreFile: NO General Bloom and NO DeleteFamily was added to HFile (hdfs://dw35.kgb.sqa.cm4:54310/hbasess/TestTable/974515d502b3876142181e57e3d4a74e/.tmp/e8d0069c50e140f39b688601a27e38e5)
2013-06-06 14:58:43,774 INFO org.apache.hadoop.hbase.regionserver.HRegion: compaction interrupted by user
java.io.InterruptedIOException: Aborting compaction of store info in region TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e. because user requested stop.
        at org.apache.hadoop.hbase.regionserver.Store.compactStore(Store.java:1680)
        at org.apache.hadoop.hbase.regionserver.Store.compact(Store.java:1078)
        at org.apache.hadoop.hbase.regionserver.HRegion.compact(HRegion.java:1339)
        at org.apache.hadoop.hbase.regionserver.compactions.CompactionRequest.run(CompactionRequest.java:251)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
2013-06-06 14:58:43,774 INFO org.apache.hadoop.hbase.regionserver.HRegion: Running close preflush of TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e.
2013-06-06 14:58:43,774 DEBUG org.apache.hadoop.hbase.regionserver.HRegion: Started memstore flush for TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e., current region memstore size 251.5m
2013-06-06 14:58:43,775 DEBUG org.apache.hadoop.hbase.regionserver.HRegion: Finished snapshotting TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e., commencing wait for mvcc, flushsize=263694480
2013-06-06 14:58:43,775 INFO org.apache.hadoop.hbase.regionserver.compactions.CompactionRequest: aborted compaction: regionName=TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e., storeName=info, fileCount=10, fileSize=2.7g (1.4g, 340.4m, 113.5m, 96.9m, 113.4m, 113.4m, 113.5m, 156.5m, 113.6m, 140.8m), priority=9, time=6209901276081328; duration=59sec

 

 

分享到:
评论

相关推荐

    HBase开启审计日志

    ### HBase开启审计日志详解 #### 一、概述 HBase是一款分布式列式存储系统,基于Google的Bigtable论文实现。它具有高可靠性、高性能、面向列、可伸缩的特点,非常适合处理海量数据。在大数据领域,HBase被广泛用于...

    hadoop ,hbase,zookeeper错误日志及相关应对措施

    hadoop、hbase、zookeeper错误日志及相关应对措施 本文将对hadoop、hbase和zookeeper的错误日志进行总结和分析,并提供相关的应对措施,以帮助读者更好地理解和解决这些错误。 Hadoop-0.20.2 & hbase-0.90.1 集群...

    使用kafka,spark,hbase开发日志分析系统

    本使用kafka,spark,hbase开发日志分析系统。 ![architecture](/docs/images/architecture.png "architecture") ### 软件模块 * Kafka:作为日志事件的消息系统,具有分布式,可分区,可冗余的消息服务功能。...

    java基于spark streaming和kafka,hbase的日志统计分析系统.rar

    本项目"java基于spark streaming和kafka,hbase的日志统计分析系统"提供了一个高效的数据处理框架,用于实时处理大规模日志数据。以下是关于这个系统的详细介绍,以及涉及的技术栈的核心知识点。 1. **Spark ...

    大数据技术应用(一) 应用Flume+HBase采集和存储日志数据

    在大数据技术领域,Flume和HBase是两个关键的组件,它们在日志数据的采集、传输和存储中发挥着重要作用。本篇文章将详细介绍这两个工具的使用及其在实际应用中的结合。 首先,让我们来理解Flume。Apache Flume是一...

    基于kafka和spark streaming和hbase的日志统计分析系统.zip

    基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的...

    HbaseTemplate 操作hbase

    在IT行业中,尤其是在大数据处理领域,HBase是一个广泛使用的分布式、高性能、列式存储的NoSQL数据库。HBase是建立在Hadoop文件系统(HDFS)之上,为处理大规模数据提供了一个高效的数据存储解决方案。而Spring Data...

    本科毕业设计项目,基于spark streaming+flume+kafka+hbase的实时日志处理分析系统,大数据处理技术

    本科毕业设计项目,基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 本科毕业设计项目,基于spark streaming+flume+kafka+hbase的...

    hadoop hbase 错误日志级解决

    3,ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 4,ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 这是我亲自遇到过的错误及解决过程,希望对大家...

    基于HBASE分布式存储的通用海量日志系统设计方法研究.pdf

    基于HBASE分布式存储的通用海量日志系统设计方法研究涉及的关键技术主要包括分布式存储系统HBASE和REDIS分布式缓存技术,以及海量日志数据的高效存储与查询处理。以下详细解析了文章中提到的关键知识点。 HBASE...

    HBase配置文件与HBase doc文档

    7. **监控和故障排查**:如何通过HBase的仪表盘和日志进行监控,以及在遇到问题时的排查方法。 8. **复制和备份**:HBase支持数据复制以提高可用性,文档会解释如何配置复制和进行数据备份与恢复。 9. **安全与...

    HBase官方文档中文版-HBase手册中文版

    HBase是一种分布式、基于列族的NoSQL数据库,由Apache软件基金会开发并维护,是Hadoop生态系统中的重要组件。这份“HBase官方文档中文版”提供了全面深入的HBase知识,帮助用户理解和掌握如何在大数据场景下有效地...

    Hbase权威指南(HBase: The Definitive Guide)

    - **大规模数据存储**:适合于需要存储和检索大量数据的应用场景,如日志分析、用户行为追踪等。 - **实时数据分析**:由于HBase提供了低延迟的随机读写能力,因此非常适合于需要实时处理数据的应用场景。 - **高...

    pinpoint的hbase初始化脚本hbase-create.hbase

    搭建pinpoint需要的hbase初始化脚本hbase-create.hbase

    hbase安装与使用

    如果出现错误提示,例如 Master 启动失败的情况,可以通过检查日志文件找到具体的错误信息。例如: ```bash 2015-02-02 03:25:33,639 ERROR [main] master.HMasterCommandLine: Master exiting java.lang....

    hbase数据可视化系统

    使用HBase的Compaction和Split机制,保持Region的平衡;并考虑使用二级索引提高查询效率。 六、总结 通过SpringBoot搭建的HBase可视化系统,使得非技术人员也能便捷地管理和操作HBase,降低了使用门槛,提高了工作...

    hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构

    《HBase实战》是一本实践导向的书籍,通过实际的项目案例,展示了HBase在不同场景下的应用,如实时分析、日志处理、推荐系统等。读者可以从中学习到如何根据业务需求设计合适的HBase表结构,以及如何进行高效的查询...

    HBase源代码 hbase-0.98.23

    当一个Region的大小达到预设阈值时,`org.apache.hadoop.hbase.regionserver.HRegion`会触发分裂过程,这涉及到`org.apache.hadoop.hbase.regionserver.SplitTransaction`类的使用,确保分裂过程中数据的一致性。...

Global site tag (gtag.js) - Google Analytics