- 浏览: 562684 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (478)
- lucene (45)
- oracle (19)
- nutch (2)
- blog (2)
- 垂直搜索 (19)
- java综合 (89)
- spring (15)
- Hibernate (9)
- Struts (9)
- Hadoop (16)
- Mysql (12)
- nosql (10)
- Linux (3)
- MyEclipse (4)
- Ant (1)
- 设计模式 (19)
- JBPM (1)
- JSP (1)
- HtmlParser (5)
- SVN (2)
- 插件 (2)
- 收藏 (7)
- Others (1)
- Heritrix (18)
- Solr (4)
- 主题爬虫 (31)
- 内存数据库 (24)
- 分布式与海量数据 (32)
- httpclient (14)
- Tomcat (1)
- 面试宝典 (6)
- Python (14)
- 数据挖掘 (1)
- 算法 (6)
- 其他 (4)
- JVM (12)
- Redis (18)
最新评论
-
hanjiyun:
本人水平还有待提高,进步空间很大,看这些文章给我有很大的指导作 ...
JVM的内存管理 Ⅲ -
liuxinglanyue:
四年后的自己:这种方法 不靠谱。 使用javaagent的方式 ...
计算Java对象占用内存空间的大小(对于32位虚拟机而言) -
jaysoncn:
附件在哪里啊test.NoCertificationHttps ...
使用HttpClient过程中常见的一些问题 -
231fuchenxi:
你好,有redis,memlink,mysql的测试代码吗?可 ...
MemLink 性能测试 -
guyue1015:
[color=orange][/color][size=lar ...
JAVA同步机制
I had tested the following key-value store for set() and get() 2 Linux boxes in a LAN, 1 server and 1 test client db-4.7.25.tar.gz Memcachedb startup parameter Tokyo Tyrant (Tokyo Cabinet) configuration ulimsiz=”256m” Redis configuration Client in Java, JDK1.6.0, 16 threads Test 1, 1-5,000,000 as key, 100 bytes string value, do set, then get test, all get test has result. Server Load Average Test 2, 1-500,000 as key, 20k bytes string value, do set, then get test, all get test has result. When test Redis server, the memory goes up steadily, consumed all 8G and then use swap(and write speed slow down), after all memory and swap space is used, the client will get exceptions. So use Redis in a productive environment should limit to a small data size. It is another cache solution rather than a persistent storage. So compare Redis together with MemcacheDB/TC may not fair because Redis actually does not save data to disk during the test. Tokyo cabinet and memcachedb are very stable during heavy load, use very little memory in set test and less than physical memory in get test. MemcacheDB peformance is poor for write large data size(20k). The call response time was not monitored in this test. 本文出自 “后端技术” 博客,请务必保留此出处http://timyang.blog.51cto.com/1539170/307144
1. Test environment
1.1 Hardware/OS
Linux Centos 5.2 64bit
Intel(R) Xeon(R) CPU E5410 @ 2.33GHz (L2 cache: 6M), Quad-Core * 2
8G memory
SCSI disk (standalone disk, no other access)1.2 Software version
libevent-1.4.11-stable.tar.gz
memcached-1.2.8.tar.gz
memcachedb-1.2.1-beta.tar.gz
redis-0.900_2.tar.gz
tokyocabinet-1.4.9.tar.gz
tokyotyrant-1.1.9.tar.gz1.3 Configuration
Test 100 bytes
./memcachedb -H /data5/kvtest/bdb/data -d -p 11212 -m 2048 -N -L 8192
(Update: As mentioned by Steve, the 100-byte-test missed the -N paramter, so I added it and updated the data)
Test 20k bytes
./memcachedb -H /data5/kvtest/mcdb/data -d -p 11212 -b 21000 -N -m 2048
Use default Tokyo Tyrant sbin/ttservctl
use .tch database, hashtable database
sid=1
dbname=”$basedir/casket.tch#bnum=50000000″ # default 1M is not enough!
maxcon=”65536″
retval=0
timeout 300
save 900 1
save 300 10
save 60 10000
# no maxmemory settings1.4 Test client
Use Memcached client java_memcached-release_2.0.1.jar
JRedis client for Redis test, another JDBC-Redis has poor performance.2. Small data size test result
Request per second(mean)
Store
Write
Read
Memcached
55,989
50,974
Memcachedb
25,583
35,260
Tokyo Tyrant
42,988
46,238
Redis
85,765
71,708
Store
Write
Read
Memcached
1.80, 1.53, 0.87
1.17, 1.16, 0.83
MemcacheDB
1.44, 0.93, 0.64
4.35, 1.94, 1.05
Tokyo Tyrant
3.70, 1.71, 1.14
2.98, 1.81, 1.26
Redis
1.06, 0.32, 0.18
1.56, 1.00, 0.54
3. Larger data size test result
Request per second(mean)
(Aug 13 Update: fixed a bug on get() that read non-exist key)
Store
Write
Read
Memcachedb
357
327
Tokyo Tyrant
3,501
257
Redis
1,542
957
4. Some notes about the test
发表评论
-
基于Hadoop的Hbase环境搭建
2010-12-22 20:47 1316转:http://www.tech126.com/hado ... -
Hbase Shell的常用命令
2010-12-22 20:32 1662总结的一些Hbase shell的命令 都很简单,可以h ... -
HBase的性能优化和相关测试
2010-12-22 20:29 1586HBase的写效率还是很高的,但其随机读取效率并不高 可 ... -
understanding redis internal - 持久化机制
2010-12-05 09:28 1107redis 持久化有2种方式,定时快照与append only ... -
understanding redis internal - 主体结构与启动流程
2010-12-05 09:27 1084一. redis的定义 官方wiki对redis的定 ... -
mongodb API
2010-11-28 21:17 829http://api.mongodb.org/java/2.3 ... -
MongoDB 安装与启动
2010-11-28 19:06 983主要介绍在Windows 与 Linux 下的安装与启动 ... -
分布式key-value数据库mongoDB 安装
2010-11-28 19:05 1132Mongo是一个高性能,开源,模式自由(schema-free ... -
NoSQL数据库MongoDB之Windows安装
2010-11-28 19:04 1684就像和被人们当初炒得沸沸扬扬的SOA、OSGi等技术一 ... -
HBase使用例子(中文翻译)
2010-11-28 17:33 1553通过编码(java)的形式对HBase进行一系列的管理 ... -
HBase安装及测试
2010-11-28 17:25 1450HBase安装及测试 1. ... -
HBase安装
2010-11-28 17:23 997官方文档:http://hbase.apache.org/ ... -
在Windows中使用Cygwin安装HBase
2010-11-28 17:21 13481.简介 HBase是 Hadoop 的 ... -
hbase的安装配置
2010-11-28 17:21 917standalone&pseudo-distribut ... -
javaeye上一些hbase讲解的链接
2010-11-28 17:20 10601.比较多的一些讲解http://beyiwork.iteye ... -
HBase入门
2010-11-28 15:58 1015HBase入门 部分内容参考于http://www.na ... -
HBase的安装配置
2010-11-28 15:56 940首先需要先下载HBase最新且稳定的版本:http://www ... -
MongoDB
2010-11-28 14:18 1283软硬件环境 MySQL版本:5.1.50,驱动版本:5. ... -
Berkeley DB Java Edition Research
2010-11-27 14:10 1022一、Berkeley DB Java Edition ... -
Berkeley DB
2010-11-27 13:28 1099Berkeley DB(简称dbd)是oracle下一款开源的 ...
相关推荐
Memcached VS Redis:2者究竟有哪些区别,什么场景下应用那种类型的缓存服务器。
### Memcachedb:全面解析与应用实践 #### 一、Memcachedb简介 **Memcachedb** 是一种分布式键值存储系统,专为持久化设计。它不是传统的缓存解决方案,而是一个完整的、用于持久化的 memcached 变体。与 ...
Redis实战中文版是一本全面介绍Redis数据库的书籍,它不仅适合初学者入门,也适合中级用户深入了解和分析使用。随着大数据时代的到来,分布式系统的广泛应用,传统的关系型数据库在处理大规模数据存储和高效读写方面...
### Redis实战知识点详解 #### 一、Redis快速入门 ##### 1.1 Key-Value存储系统简介 **Redis**作为一款高性能的键值(Key-Value)存储系统,在现代软件架构中扮演着重要的角色。与其他键值存储系统如**Voldemort**...
首先介绍了Key-Value存储系统,包括Voldemort、Dynamo、memcachedb、Cassandra、memcached和Hypertable等。接着,文中解释了为什么选择Key-Value存储系统,特别是在大规模互联网应用、云存储等场合下的应用案例。 ...
1. **键值存储**:如Tokyo Cabinet/Tyrant、Berkeley DB、MemcacheDB、Redis等,特点是使用键值对形式存储数据,访问速度快,但缺乏复杂查询功能。 2. **文档数据库**:如MongoDB、CouchDB等,使用JSON或类似格式...
- **memcachedb**: 结合了memcached的高性能和传统键值存储系统的持久化功能,提供了一个兼具速度与可靠性的解决方案。 - **Cassandra**: 一种分布式NoSQL数据库,支持横向扩展,主要用于处理大量结构化数据,具有高...
文中列举了几种不同的键值存储系统,例如Voldemort、Dynamo、memcachedb、Cassandra、memcached和Hypertable。每种系统都有其特定的使用场景和特点。 #### 1.2 为什么选择Key-Value Store 在讨论选择键值存储的理由...
### Redis实战中文版知识点概述 #### 一、Key-Value存储系统简介 ##### 1.1.1 Voldemort - **特点**: Voldemort 是一个分布式Key-Value存储系统,它被设计用于处理大规模的数据,并且能够提供高可用性和容错性。 -...
Redis是Key-Value存储系统的典型代表,与Voldemort、Dynamo、memcached、Cassandra、memcachedb和Hypertable等系统类似,都遵循键值对存储的基本理念。这些系统各有特点,例如Cassandra适用于大规模分布式系统,而...
### Redis实战知识点总结 #### 一、Key-Value存储系统简介 **1.1.1 Voldemort** - **定义**:Voldemort是一款分布式键值存储系统,最初由LinkedIn开发,后来开源。 - **特点**: - 支持分区和复制功能,能够实现...
**memcachedb 手册详解** `memcachedb` 是一个基于 `memcached` 的、持久化的键值存储系统,它结合了 `memcached` 的高性能缓存特性与数据库的持久化能力,常用于分布式环境中的数据缓存。这份手册详细介绍了 `...
##### 1.1.3 memcachedb - **特点**: 结合了memcached的高性能和数据库的持久化特性。 - **应用场景**: 可以作为高速缓存层,也可以用作持久化存储。 ##### 1.1.4 Cassandra - **特点**: 分布式NoSQL数据库系统,...
##### 1.1.3 memcachedb - **特点**: 结合了memcached的高性能和传统数据库的持久性,提供了内存中的键值存储功能。 - **应用场景**: 适用于需要高速缓存且同时具备数据持久化需求的应用场景。 ##### 1.1.4 ...
**1.1.3 memcachedb** - **特点**:结合了memcached的高性能与数据库的持久性特点。 - **应用场景**:适用于需要高速缓存以及简单持久化需求的场景。 **1.1.4 Cassandra** - **特点**:一个高度可扩展的分布式...
随着技术发展,更多的系统如memcachedb、Cassandra、memcached以及Hypertable等相继出现,它们在存储、速度、并发处理等方面各有特色。 ### 为何选择Key-Value存储系统 Key-Value存储系统特别适合于大规模的互联网...