`

Cloudera工程师关于CMS碎片问题的一个解决方案

 
阅读更多
http://www.cloudera.com/blog/2011/02/avoiding-full-gcs-in-hbase-with-memstore-local-allocation-buffers-part-1/

全文分3个部分,第一部分简单介绍了一下JVM的GC概念;关于CMS的基础理论和常见的2个异常concurrent mode failure和promotion failed还比较清晰,第二部分:通过在Hbase上的一系列实验,分析了为什么Hbase会频繁的Full GC,不只是在内存满,或者达到CMS触发比例的时候才会触发Full GC,碎片同样会导致这个问题;第三部分作者讲解了Hbase中为什么会导致内存碎片,以及Hbase是如何通过MemStore-Local Allocation Buffer方案来解决这个内存碎片的问题的。
分享到:
评论

相关推荐

    Cloudera大数据解决方案.ppt

    传统的数据分析方法往往面临数据丢失、高存储成本和低数据访问速度等问题,而Cloudera大数据解决方案则通过将计算程序移动到数据节点,解决了这些问题。它提供了一个统一的平台,允许多样化的分析(例如SQL和搜索的...

    Cloudera大数据平台迁移方案.docx

    大数据处理平台迁移方案是指将现有的 Hadoop 集群从一个平台迁移到另一个平台的过程。在本案例中,我们将介绍从 Intel Hadoop 发行版迁移到 Cloudera Enterprise 发行版的迁移方案。 1.1. 方案一:原地升级 原地...

    Cloudera技术参考资料

    - **介绍:** Cloudera Director 是一个云环境下的部署和管理工具,使得在云端快速部署和管理 Cloudera Hadoop 成为可能。 - **应用场景:** 支持 AWS、Azure 和 Google Cloud 等公有云平台,帮助用户轻松地将 ...

    Cloudera-数据云-一站式DataOps自助开发.pdf

    Cloudera 提供的数据云解决方案旨在为企业提供一个全面的一站式DataOps自助服务平台,它集成了数据处理的各个阶段,从数据采集、建模到分析和运维监控,以支持复杂数据源的同步需求和灵活的任务调度。这个平台的核心...

    英特尔联手Cloudera采用Kafka消息解决方案 为Oracle基础设施集成Hadoop

    3. **Apache Kafka消息解决方案**:Apache Kafka作为一个开源的分布式发布-订阅消息系统,具有高吞吐量、支持多个用户的特点。Kafka适用于大数据处理,可以处理批量数据和实时事件流。Kafka的消息保留机制使得数据...

    cloudera 5.12.zip

    通过上述组件的集成,Cloudera 5.12 提供了一个强大的大数据处理环境,适用于企业级的大数据管理和分析。无论是数据科学家、开发人员还是运维人员,都能从中受益。对于"分.txt"这个文件,可能包含了Cloudera 5.12 ...

    Cloudera Introduction官方介绍文档

    在Cloudera的官方介绍中,介绍了CDH(Cloudera's Distribution Including Apache Hadoop),它是Cloudera提供的一个企业级Hadoop发行版,包含了Apache Hadoop的核心组件,并加入了一些Cloudera自研的技术来增强系统...

    cloudera search官网参考资料

    【Cloudera Search】是Cloudera公司提供的一个企业级搜索解决方案,它基于Apache Solr构建,能够处理大规模数据集的全文检索、分析和展示。Cloudera Search整合了SolrCloud,使得索引和查询操作能够在分布式环境中...

    Cloudera hadoop开发员培训教材

    Cloudera是提供Hadoop商业发行版的一个主要供应商,其产品CDH(Cloudera's Distribution including Apache Hadoop)是业界广泛使用的企业级Hadoop解决方案。 在Cloudera提供的Hadoop开发员培训中,首先会对Hadoop的...

    Cloudera Hadoop 安装指南

    此外,文档还提供了关于Cloudera Manager的安装指导,这是一个用于管理Hadoop集群的强大工具。 ### Cloudera Manager简介 Cloudera Manager是一个用于简化Hadoop及其相关项目部署和管理过程的工具。它提供了图形...

    Cloudera Data Management官方文档

    文档标题为“Cloudera Data Management官方文档”,这意味着文档是Cloudera公司关于其数据管理产品的一个官方说明。Cloudera是一家提供企业级大数据管理平台解决方案的领先供应商,尤其以其支持Apache Hadoop的发行...

    Cloudera Enterprise 5.8.x 中文文档

    ### Cloudera Enterprise 5.8.x 关键知识点解析 #### 一、Cloudera Enterprise 平台概览 **Cloudera** 是一家全球知名的...这些工具共同构成了一个全面的企业级大数据解决方案,帮助企业充分利用其数据资产的价值。

    CLOUDERA-Manager-中文手册

    - **集群及服务实时监控**:Cloudera Manager提供了实时视图,展示集群整体性能、服务状态和资源利用率,帮助运维人员及时发现并解决问题。 - **节点级别监控**:深入到每个节点的监控,包括硬件资源、进程状态和...

    cloudera-impala官方手册

    Cloudera Distribution Including Apache Hadoop (CDH) 是一个包含了 Hadoop 生态系统中多个组件的集成解决方案。Impala 作为 CDH 的一部分,与其他组件如 HDFS、HBase、Hive 等紧密集成。这种集成不仅使得 Impala ...

    Centos7 安装Cloudera PDF 下载

    Cloudera提供了Hadoop生态系统的一站式解决方案,包括数据存储、处理和分析工具。对于Java开发者来说,熟悉这个环境是至关重要的,因为Cloudera的核心组件依赖于Java运行时环境。 首先,确保你的CentOS 7系统是最新...

    Cloudera-Manager.pdf

    在监控指标方面,Cloudera Manager提供了一系列样例状态指标和报警指标,包括HDFS、MapReduce、HBase等,帮助运维人员快速定位和解决问题。 综上所述,Cloudera Manager为大数据环境提供了全面的管理解决方案,无论...

    Cloudera 5.4.x Documentation系列官方文档

    压缩包里面共有十个文档!分别是: cloudera-administration.pdf-配置管理文档 cloudera-datamgmt.pdf-数据管理文档 cloudera-impala.pdf-impala使用文档 cloudera-installation.pdf-安装CDH和CM的文档 cloudera-...

    Cloudera CDH大数据平台搭建参考手册

    集成 - 在一个可与广泛的硬件和软件解决方案配合使用的完整Hadoop平台上快速启动并运行。 安全 - 过程和控制敏感数据。 可扩展性 - 启用广泛的应用程序并进行扩展和扩展,以满足您的需求。 高可用性 - 充满信心地...

    spark+cloudera

    “spark+cloudera”通常指的是在Cloudera平台上使用Apache Spark技术进行大数据处理的解决方案。通过将Spark与Cloudera集成,用户可以充分利用Spark的高性能计算能力和Cloudera的易于管理性和稳定性。 在文档的描述...

    CLOUDERA-Manager_中文手册(全)

    Cloudera Manager提供了必要的维护工具和故障排除指南,帮助管理员优化集群性能,快速诊断和解决问题。 ### 结语 Cloudera Manager是一个功能强大的管理工具,它极大地简化了Hadoop集群的管理操作。通过本手册的...

Global site tag (gtag.js) - Google Analytics