aircoder
- 浏览: 156642 次
- 性别:
- 来自: 深圳
-
文章分类
最新评论
-
lyaqys：
lz实现的OptimisticExclusiveLock有点问 ...
java park/unpark 【java并发】基于JUC CAS原理,自己实现简单独占锁
Voldemort — 分布式 key-value 存储系统
拜读了关于 LinkedIn 几位工程师写的构建 TB 级的 key-value 系统的经验：Building a terabyte-scale data cycle at LinkedIn with Hadoop and Project Voldemort。具体实现过程有大致的描述，就不鹦鹉学舌了。
其实现在很多公司可能都面临着这个抽象架构图中的类似问题。以 Hadoop 作为后端的计算集群，计算得出来的数据如果要反向推到前面去，用什么方式存储更为恰当? 再放到 DB 里面的话，构建索引是麻烦事；放到 Memcached 之类的 Key-Value 分布式系统中，毕竟只是在内存里，数据又容易丢。Voldemort 算是一个不错的改良方案。
值得借鉴的几点:
键(Key)结构的设计，有点技巧；
架构师熟知硬件结构是有用的。越大的系统越是如此。
用好并行。Amdahl 定律以后出现的场合会更多。
关于 key-value 应用的解决方案又多了一种。LinkedIn 对此应用案例也还在发展中。如果业务类型类似，不妨关注一下。
原文地址：http://dbanotes.net/arch/voldemort_key-value.html
分享到：
发表评论
-
探索 Pexpect，第 2 部分：Pexpect 的实例分析
2013-08-19 11:08 1729原文： http://www.ibm.com/develope ... -
Sudo提权出现：xx用户不在 sudoers 文件中
2013-08-03 20:22 920Sudo提权出现：xx用户不在 sudoers 文件中 症状 ... -
atoi源码
2013-05-14 19:32 1291原文： http://blog.csdn.net/eroswa ... -
为重负网络优化 Nginx 和 Node.js
2013-05-13 01:12 1033原文：http://linux.cn/forum.php?mo ... -
《APUE》：线程和fork（父子进程锁）
2013-04-29 21:07 1200《Unix环境高级编程》这本书附带了许多短小精美的小程序，我在 ... -
多线程下慎用sigwait
2013-04-29 20:54 800原文：http://blog.chinaunix. ... -
ubuntu eclipse 问题
2013-04-05 03:30 820Eclipse 3.6 在 Ubuntu 10.04 下会出现 ... -
linux多线程之pthread_cancel结束线程（防止死锁）
2013-03-28 18:28 1279linux多线程之pthread_cancel结束线程 摘要： ... -
c++ 多线程编程的时候遇到了一个编译问
2013-03-27 15:22 833今天在进行多线程编程的时候遇到了一个编译问题：error: a ... -
socket参数详解:KeepAlive
2013-03-19 13:24 1246TCP协议中有长连接和短连接之分。短连接在数据包发送完成后就会 ... -
ehcache分布式例子
2013-03-19 11:52 647配置文件： recluster_ehcache_0.xml ... -
java 慎用 new Random()
2013-03-11 18:14 939package tt; import java.util.* ... -
crontab中运行python程序出错，提示ImportError: No module named解决全过程
2013-03-11 16:18 1259原文地址：http://blog.csdn.net/langl ... -
Linux crontab
2013-03-08 18:27 1089crontab是Linux下最常用的计划任务服务。本文跟大家分 ... -
tinyxml 实例
2013-02-28 15:00 680tinyxml 实例 例子见附件 -
C++ 中char*，const char*，string 轉換
2013-02-26 11:34 11371. string转const char* string ... -
WARNING: source src1: skipped 14 document(s) with zero/NULL ids
2012-12-18 21:17 1941select 中缺少主键id -
libmysqlclient.so.15 is needed by .....
2012-12-18 16:22 1194libmysqlclient.so.15 is needed ... -
Redis 内存
2012-12-12 16:28 905NoSQLFan 关注NoSQL相关的新闻与技术 ... -
apache.commons工具
2012-12-03 10:22 1072本文主要介绍自己在开发过程中总结的一些Java工具类，主要包括 ...
相关推荐
文章中提到的另一个关键词是分布式key-value存储系统。这些系统在面临大规模数据处理需求时，必须能够有效管理数据的分布和一致性。分布式系统设计中，数据的跨服务器访问关系是维护数据一致性、实现高效访问的核心...
Key-Value存储系统是一种简单高效的数据存储模型，其中每个键都有一个对应的值，这种模型特别适合大规模数据的快速读写操作。 1.1.1 Voldemort：是一个分布式键值存储系统，设计目标是高可用性和一致性。 1.1.2 ...
Voldemort是一款分布式Key-Value存储系统，主要用于处理大规模数据存储的需求。它设计之初就是为了能够应对高并发读写场景，并且支持容错机制。与Redis相比，Voldemort更侧重于数据分片和复制，适用于对数据一致性和...
- **示例**：内存中的键值存储如Memcached和Redis，以及持久化的键值存储如Dynamo、Voldemort和Riak。 #### 键值架构 - **独立的键值对**：在键值存储系统中，每个键值对都是独立的，这为数据的存储和管理提供了极...
- **Voldemort**：一种高性能、分布式的Key-Value存储系统，主要用于大规模数据存储和检索。 - **Dynamo**：亚马逊公司设计的一种分布式存储系统，其特点是高可用性和一致性。 - **memcachedb**：基于memcached的...
在《Redis实战》中，作者红丸首先介绍了几种常见的Key-Value存储系统，包括Voldemort、Dynamo、memcachedb、Cassandra、memcached和Hypertable。这些系统各有特色，如Voldemort以其分布式存储能力著称，Dynamo是...
- **Voldemort**：一种分布式Key-Value存储系统，特别适用于读取密集型的应用。 - **Dynamo**：由Amazon开发并开源的分布式Key-Value存储系统，具有高可用性和容错性。 - **memcachedb**：结合了memcached的简单性和...
Dynamo是亚马逊开发的一个分布式Key-Value存储系统，强调最终一致性，适用于需要高可用性的分布式存储。 1.1.3 Memcachedb Memcachedb结合了Memcache的高性能和Berkeley DB的持久化特性，用于提供一种高可用性和高...
Voldemort是一款分布式Key-Value存储系统，特别适用于大规模读写密集型的应用场景。它采用了类似Amazon Dynamo的设计理念，提供了高可用性和数据一致性保障。Voldemort的主要应用场景包括缓存、日志存储等。 ##### ...
#### 一、Key-Value存储系统简介与Redis的选择 **1.1 Key-Value存储系统简介** - **Voldemort**: 一个分布式键值存储系统，最初由LinkedIn开发，用于处理大规模数据读写操作。它强调一致性、高可用性和可扩展性。 ...
在这个章节中，会提及一些其他的Key-Value存储系统，例如Voldemort、Dynamo、memcachedb、Cassandra、memcached和Hypertable等，以供比较和对比。这些系统各有特点，比如Dynamo是高度可用的键值存储，支持分布式计算...
- **Voldemort**：一个分布式 Key-Value 存储系统，以其高性能和容错性著称。 - **Dynamo**：由 Amazon 开发的分布式 Key-Value 存储系统，设计用于处理海量数据，并提供高可用性和一致性。 - **Memcachedb**：一种...
- **简介**：Voldemort是一款分布式Key-Value存储系统，由LinkedIn开发并开源。 - **特点**： - 支持分区和副本机制，提供高可用性。 - 具有容错能力，可以在部分节点故障时继续工作。 - 提供简单的API，易于集成...
在Key-Value存储系统简介章节中，作者介绍了多个键值存储系统，比如Voldemort、Dynamo、memcachedb、Cassandra和Hypertable等，它们都是通过键值对的方式来存储数据，但是在具体实现和应用场景上各有特色。...
**1.1 Key-Value存储系统简介** 在探讨Redis之前，我们先来了解下Key-Value存储系统的基本概念及其应用场景。 - **Voldemort：** 一个分布式键值存储系统，主要用于处理海量数据，并能够提供低延迟的数据访问服务...