`
stephen80
  • 浏览: 106109 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hbase 性能测试

阅读更多
hbase performance

    * test

hadoop0.18.1,hbase0.18.1

1master,4 region server (dual core cpu,dual cpu?)

已经有2m 数据
random write 1 client, Finished randomWrite in 499001ms at offset 0 for 1048576 rows, 2101rows/second


已经有3m 数据
random read 1 client, Finished randomRead in 1394633ms at offset 0 for 1048576 rows, 751rows/second. 4 client, Row count=4194280/milliseconds=28017142, 149rows /second .


radndom write 4 client ,Row count=4194280/Elapsed time in milliseconds=18872921 ,222rows/second.


已经有3.5m 数据

random write 1 client, Finished randomWrite in 450112ms at offset 0 for 1048576 rows,2329rows/second.

    * 性能及hbase 适用

hbase 离设计目标还有较长的路,海量数据的性能不够。
分享到:
评论

相关推荐

    某大数据公司内部Hbase性能测试详细设计文档及用例

    "HBase性能测试详细设计文档及用例" 本文档旨在详细介绍HBase性能测试的设计文档和实践经验,涵盖了HBase性能测试需要注意的一些参数设置和测试用例。下面是从该文档中提炼的相关知识点: 1.1 Pre-Creating ...

    Hbase性能测试详细设计文档及用例q

    默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。 一种可以加快批量写入速度的方法是通过预先创建一些...

    hbase性能测试.docx

    在对HBase进行性能测试时,我们关注的关键指标包括数据读写速度、系统资源消耗以及MapReduce框架的运行效率。以下是对文档中提到的几个重要性能指标的详细解读: 1. **顺序写入(Sequential Write)**: - **FILE:...

    Hbase性能测试详细设计文档及用例.pdf

    《HBase性能测试详解》 HBase,作为一款分布式、基于列族的NoSQL数据库,其性能优化至关重要。本文将深入探讨HBase的性能测试及其关键调优参数,旨在提升系统的稳定性和处理能力。 首先,表的设计是影响性能的关键...

    Phoenix_on_HBase性能测试报告.pdf

    Phoenix on HBase 性能测试报告 Phoenix on HBase 是一个基于 HBase 的高性能数据处理引擎,它可以提供快速的数据查询和写入性能。在本报告中,我们对 Phoenix on HBase 的性能进行了测试,以探索其在数据查询和...

    HBase性能深度分析

    ### HBase性能深度分析 HBase,作为BigTable的一个开源实现,因其卓越的分布式数据库特性在大数据处理领域占据了重要地位。然而,随着HBase在各行业的广泛应用,用户对其性能表现的关注日益增强,尤其是实时数据...

    hadoop hbase性能报告(英文)

    ### Hadoop HBase性能报告分析 #### 引言与研究目标 本项目旨在评估Hadoop与HBase在实际集群环境中的性能表现。具体目标包括: 1. 在节点组成的集群上安装并配置Hadoop与HBase。 2. 研究Hadoop与HBase API,并...

    hbase性能调优手册

    本文主要介绍HBase性能调优的几种常用方法,重点在于理解性能优化背后的核心概念及其应用。 ### Rowkey设计 Rowkey是HBase中每行数据的唯一标识,它的设计对于性能有着至关重要的影响。一个良好的Rowkey设计应当...

    HBase的性能优化

    "HBase性能优化" HBase是一种高性能的NoSQL数据库,广泛应用于大数据存储和处理领域。然而,HBase的性能优化是非常重要的,特别是在大规模数据集群环境中。以下是HBase性能优化的相关知识点: 启用LZO压缩 HBase...

    HBase性能优化指南

    ### HBase性能优化知识点汇总 #### HDFS优化 - **存储机制**: HBase使用HDFS存储WAL(Write-Ahead Log)和HFiles。默认情况下,HDFS不会实时同步数据到磁盘,而是写入临时文件后移动到最终位置,导致在断电情况下...

    HBASE性能调优方法1

    综上所述,HBase性能调优涉及多个层面,需要综合考虑业务需求、数据特性和系统资源,通过调整配置、优化数据操作方式和利用内置机制,来达到最佳性能。在实践中,还需要根据具体情况进行测试和监控,不断调整优化...

    hbase+phoenix 本机测试文档

    例如,在“hbase+phoenix测试文档及查询速度说明.docx”文件中,可能会详细记录这些测试步骤和结果,包括查询语句的编写、查询时间的对比以及性能优化的建议。 总结来说,HBase与Phoenix的结合,使得我们在处理...

    Hadoop 集群(第 12 期副刊)-HBase性能优化.pdf

    ### Hadoop集群(第12期副刊)-HBase性能优化 #### 一、从配置角度优化HBase性能 **1.1 修改Linux配置** Linux系统默认的最大可打开文件数通常设定为1024个,这对于大多数应用场景来说可能足够,但在高并发环境下...

    YCSB之HBase压力测试.pdf

    在云服务和大数据的背景下,性能测试对于评估数据库性能表现显得尤为重要。YCSB(Yahoo!Cloud Serving Benchmark)是一个用于NoSQL数据库性能测试的工具,它能够模拟真实世界的工作负载,以测试云数据库的读写性能...

    性能测试工具所引用的hbase依赖包

    本hbase的jar依赖包主要是基于hbase-1.0.0-cdh5.6.1版本,之所以用cdh版,是因为测试脚本引用的是这个版本的类和方法。 本依赖包在Loadrunner12和Jmeter3.1下测试通过,是从网上收集的基础包组成,能够满足测试所有...

    关于hbase性能调优文档.docx

    在HBase性能调优的过程中,有几个关键的配置参数和策略值得深入探讨。首先,我们要理解HBase的基本工作原理,它是基于Hadoop构建的分布式数据库,采用列式存储,支持大规模数据存储和高并发读写。在默认情况下,...

    PhoenixonHBase性能测试报告.pdf

    Phoenix on HBase性能测试报告 本测试报告旨在评估Phoenix on HBase的性能,包括数据写入和查询性能。测试环境使用四台PC机,搭建HBase集群,Phoenix版本为4.8.0-HBase-1.1,HBase版本为1.1.6。测试工具使用...

    hbase专题测试文件

    博客链接指向了CSDN平台的一篇文章,详细介绍了HBase的相关知识和实战操作,这可能是对HBase进行性能测试、功能验证或者应用场景探索的一个实例。 【知识点详解】 1. **HBase简介**: HBase是一款开源的、基于...

    Hbase学习分享

    在《Hbase性能测试文档.docx》中,可能涵盖了如何对HBase进行性能测试的详细步骤和最佳实践。性能测试通常包括读写速度、延迟、并发处理能力等方面的评估。使用基准测试工具如`Apache JMeter`或`YCSB (Yahoo! Cloud ...

Global site tag (gtag.js) - Google Analytics