`

YCSB%e6%b5%8b%e8%af%95hbase

阅读更多

首先,ycsb放狗,第一个就是
https://github.com/brianfrankcooper/YCSB/wiki


新东西一般只有国外首先有技术文档,所以一定要耐着性子看英文,开个词霸,google翻译


从getting started开始
obtain YCSB source
首先是下载一个压缩包,或者安装git(类似svn)下载源代码,再build


build the basic package
解压后进入该文件夹,执行ant(只要jdk安装正确,一般都会成功)


然后build database layers

从原文我以为只要将hbase的jar拷入db/hbase/lib下就行了,其实不行,执行ant dbcompile-hbase后会报错:package org.apache.hadoop.conf找不到,而这只要将hadoop下的jar包拷过来就可以解决了

 

 

第二部分running a workload

 

它说有六步,其实最终只有以下几步

 

在hbase里建个表

数据装载

事务测试

 

当然是用默认的类,(如果有自己的测试设计,要重写coreworkload类?)

装载数据的命令:

 

java -cpbuild/ycsb.jar:db/hbase/lib/* com.yahoo.ycsb.Client -load \
-db com.yahoo.ycsb.db.HBaseClient -P workloads/workloada\
-p columnfamily=family -p recordcount=1000 -s > load.dat

 

 

执行事务:

 

java -cpbuild/ycsb.jar:db/hbase/lib/* com.yahoo.ycsb.Client -t \
-db com.yahoo.ycsb.db.HBaseClient -P workloads/workloada\
-p columnfamily=family -p operationcount=1000000(这里我设的是10000,1M一段时间后内在用完,100000完成后还在不断继续,不知道为啥) -s \
-threads 10 -target 100 > transactions.dat

六大步里有篇幅是介绍这些命令里的参数的

 

 

一般在运行完命令后,在YCSB的文件夹下面会有load.dat,transactions.dat文件的,里面记录了相应的结果

分享到:
评论

相关推荐

    hbase+ycsb工具

    3. **配置YCSB**:在YCSB的配置文件中指定HBase的连接信息,包括Zookeeper地址、HBase表名等。 4. **预热**:执行预热操作,将数据加载到HBase中,使系统进入稳定状态。 5. **运行工作负载**:选择YCSB提供的工作...

    ycsb-hbase14-binding-0.17.0

    YCSB-HBase14-Binding 0.17.0是针对HBase 1.4版本的YCSB绑定,这个绑定允许开发者和研究人员直接在HBase上运行YCSB的工作负载,以测试和比较HBase的性能特性。 HBase,作为Apache Hadoop生态系统的一部分,是一款...

    YCSB之HBase压力测试.pdf

    当配置YCSB以测试HBase时,需要将HBase的lib目录下的所有jar包和hbase-site.xml配置文件拷贝到YCSB中相应的位置,完成安装。 YCSB通过内置的多种压力测试场景文件来模拟不同的工作负载。例如,workloada场景是一个...

    YCSB HBase Group 7-1 性能测试步骤

    YCSB HBase Group 7-1 测试步骤

    HADOOP&ZK&HBASE&YCSB集群搭建验证

    HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证 HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证是大数据处理和存储的关键技术栈。该技术栈主要包括四个组件:HADOOP、ZOOKEEPER、HBASE 和 YCSB。了解这些技术的搭建和验证是大...

    benchmark_hbase_cassandra:使用 YCSB 对 HBase 和 Cassandra 进行基准测试的脚本

    benchmark_hbase_cassandra 使用 YCSB 对 HBase 和 Cassandra 进行基准测试的脚本。 数据库 - HBase 和 Cassandra benchmark_report.pdf 该文件包含使用 YCSB 的 HBase 和 Cassandra 基准测试结果的报告和观察结果。...

    最全面的HBase说明文档

    Apache HBase是一个开源的非关系型分布式数据库(NoSQL),它基于Google的Bigtable论文设计实现,运行在Hadoop之上,适合于存储稀疏数据集。HBase是Apache软件基金会下的一个子项目,其设计目的旨在支持大规模的结构...

    ycsb-0.1.4源码

    6. **HBase集成**:YCSB与HBase的集成允许测试HBase的性能。在pom.xml文件中,需要确保HBase的依赖项正确设置,并且可能需要调整HBase的相关配置以适应你的环境。 7. **结果分析**:运行YCSB测试后,它会生成详细的...

    ycsb的编译文件

    本人使用ycsb 0.1.4源码编译后 在 hadoop 2.4.0 的 hbase0.98.0 集群上测试通过。 由于资源上传受大小限制,所以只上传 编译后的文件。对不起我最大只能上传50M,只能上传编译方法了。下载源码,然后将下载后的pom....

    ycsb 源代码

    《深入解析YCSB: Yahoo! Cloud Serving Benchmark的源代码分析》 YCSB,全称为Yahoo! Cloud Serving Benchmark,是雅虎公司为评估云存储系统性能而开发的一款开源基准测试工具。它提供了丰富的测试场景,能够有效...

    Hbase中文文档

    YCSB: The Yahoo! Cloud Serving Benchmark and HBase E. HFile format version 2 E.1. Motivation E.2. HFile format version 1 overview E.3. HBase file format with inline blocks (version 2) F. Other ...

    NoSQL性能测试包YCSB

    Yahoo 专门用于主流的 nosql 性能测试,java 编写,内集成 hbase,mongodb,cassandra,voldemort,redis。使用时注意需要将相应的数据库驱动复制到对应的数据库 lib 下面。

    ycsb-0.17.0 源码文件需要编译

    Cloud Serving Benchmark”,是雅虎开发的用来对云服务进行基础测试的工具,其内部涵盖了常见的NoSQL数据库产品,如Cassandra、MongoDB、HBase、Redis等等。在运行YCSB的时候,可以配置不同的workload和DB,也可以...

    ycsb cassandra 压力测试工具

    **ycsb cassandra 压力测试工具** YCSB(Yahoo! Cloud Serving Benchmark)是 Yahoo 开源的一个云服务性能基准测试工具,它主要用于评估分布式数据库、键值存储和其他云服务的性能。Cassandra 是一个分布式NoSQL...

    ycsb-0.17.0.tar.gz

    Cloud Serving Benchmark”,是雅虎开发的用来对云服务进行基础测试的工具,其内部涵盖了常见的NoSQL数据库产品,如Cassandra、MongoDB、HBase、Redis等等。在运行YCSB的时候,可以配置不同的workload和DB,也可以...

    YCSB(0.8.0)安装与初步使用1.docx

    ### YCSB (0.8.0) 安装与初步使用 #### 一、YCSB概述 YCSB(Yahoo! Cloud Serving Benchmark)是由Yahoo公司开发的一款用于评测NoSQL数据库性能的开源工具。其主要目的是为了评估并比较云数据服务系统(包括NoSQL...

    ycsb.zip_ycsb脚本_压测

    标题中的“ycsb.zip_ycsb脚本_压测”表明这是一个关于YCSB(Yahoo! Cloud Serving Benchmark)工具的压缩包,其中包含了用于压力测试MongoDB数据库的脚本。YCSB是一个广泛使用的分布式系统性能基准测试工具,主要...

    NoSQL性能评估(MongoDB,HBase,Cassandra):哪种数据库最适合你的数据?

    非关系数据库(经常被称为NoSQL)的特点是弹性和可伸缩性。另外,它们可以存储大数据并与云计算系统协同工作。这些因素导致非关系数据库非常流行。在2013年,NoSQL数据库的种类达到了150多个,并且一直在增长,多种...

    hbase运维手册

    ### HBase运维手册知识点解析 #### 一、Transwarp HBase运维管理工具清单 **1.1 HBase运维管理工具清单** ##### 1.1.1 Canary Canary是Transwarp HBase中用于健康检查的一个工具。它可以定期检测集群的健康状况,...

Global site tag (gtag.js) - Google Analytics