资讯频道 → 数据库
阅读更多

4顶
0踩

数据库

原创新闻 大数据时代的 9 大Key-Value存储数据库

2013-04-23 14:34 by 副主编 wangguo 评论(4) 有92530人浏览
键值 Key-Value NoSQL Redis

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。

一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写磁盘的次数，比SQL数据库存储拥有更好的读写性能。

本文就为你介绍9种用于大数据处理的免费键值存储数据库。

1.  Aerospike 社区版



Aerospike是一个以分布式为核心基础，可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。

Aerospike主要用于广告业务，作为一个服务器端的cookie存储来使用，在这种场景下读取和写入性能是至关重要的。

官网：http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/

相关资料：Documentation、FAQ、Blog、Forums

2.  LevelDB



Leveldb是Google开发的一个非常高效的kv数据库，支持billion级别的数据量，在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计，特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持，在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎，并部署在线上使用。

官网：http://code.google.com/p/leveldb/

相关资料：Benchmarks、Mailing List、Twitter

3.  Scalaris



Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统，提供的 API 包括：Java、Python、Ruby和JSON。

官网：http://scalaris.googlecode.com/

相关资料：Users and Developers Guide、FAQ、Mailing List

4.  Project Voldemort



Voldemort是一个分布式键值存储系统，是Amazon's Dynamo的一个开源克隆。特性如下：

  • 支持自动复制数据到多个服务器上。
  • 支持数据自动分割所以每个服务器只包含总数据的一个子集。
  • 提供服务器故障透明处理功能。
  • 支持可拨插的序化支持，以实现复杂的键-值存储，它能够很好的5.集成常用的序化框架如：Protocol Buffers、Thrift、Avro和Java Serialization。
  • 数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
  • 每个节点相互独立，互不影响。
  • 支持可插拔的数据放置策略
官网：http://project-voldemort.com/

相关资料：Wiki、Mailing List、Github、Project Voldemort: Scaling Simple Storage、Serving Large-scale Batch Computed Data with Project Voldemort

5.  HyperDex



HyperDex是一个分布式、可搜索的键值存储系统，特性如下：

  • 分布式KV存储，系统性能能够随节点数目线性扩展
  • 吞吐和延时都能秒杀现在风头正劲的MonogDB，吞吐甚至强于Redis
  • 使用了hyperspace hashing技术，使得对存储的K-V的任意属性进行查询成为可能
官网：http://hyperdex.org/

相关资料：Documentation、Blog、GitHub、FAQ、Announcement Mailing List、Discussion Mailing List

6.  Berkeley DB



Berkeley DB是一个开源的文件数据库，介于关系数据库与内存数据库之间，使用方式与内存数据库类似，它提供的是一系列直接访问数据库的函数，而不是像关系数据库那样需要网络通讯、SQL解析等步骤。

官网：http://www.oracle.com/technetwork/products/berkeleydb/overview/index.html

相关资料：Wiki、Forums、Launchpad

7.  Apache Accumulo



Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案，基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路，基于 Apache Hadoop、Zookeeper 和 Thrift 构建。

官网：http://accumulo.apache.org/

相关资料：Manual、Mailing Lists、Apache Accumulo Users Group

8.  Redis



Redis是一个高性能的key-value存储系统，和Memcached类似，它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）和zset（有序集合）。与memcached一样，为了保证效率，数据都是缓存在内存中，区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了主从同步。

Redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端，使用很方便。

官网：http://redis.io/

相关资料：Documentation、Tutorials、FAQ、Mailing List、Twitter

9.  Apache Cassandra



Apache Cassandra是一个混合型的非关系数据库，它最初由Facebook开发，用于储存特别大的数据。

Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra 的一个写操作，会被复制到其它节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能是比较简单的事情，只管在群集里面添加节点就可以了。

官网：http://cassandra.apache.org/

相关资料：Wiki、Getting Started

Via linuxlinks
  • 大小: 2.1 KB
  • 大小: 9.9 KB
  • 大小: 6.3 KB
  • 大小: 23.2 KB
  • 大小: 6.4 KB
  • 大小: 11.1 KB
  • 大小: 11.2 KB
  • 大小: 13.9 KB
  • 大小: 9.2 KB
4
顶
0
踩
评论 共 4 条 请登录后发表评论
4 楼 zuoguiyefengliu 2016-11-02 11:03
huang_yong 写道
怎么没有看到Memcached、MongoDB？


mongoDB不是key-value数据库是文档型数据库
3 楼 huang_yong 2014-04-10 23:36
sp42 写道
huang_yong 写道
怎么没有看到Memcached、MongoDB？
9494

我都回忆不起来一年前竟然评论过这篇，哈哈！
2 楼 sp42 2014-04-08 22:03
huang_yong 写道
怎么没有看到Memcached、MongoDB？
9494
1 楼 huang_yong 2013-05-02 12:30
怎么没有看到Memcached、MongoDB？

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • (转)[转]大数据时代的 9 大Key-Value存储数据库

    一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少...

  • [转]大数据时代的 9 大Key-Value存储数据库

     一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写...

  • 转载和积累系列 - 大数据时代的 9 大Key-Value存储数据库

    一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减

  • 从零开始设计键值数据库（KEY-VALUE STORE）

    键值存储（key-value store），也被称为键值数据库（key-value database），是一个非关系型数据库。每一个独特的标识符都被存储为一个带有相关值的键。这种数据配对被称为 "键-值 "对。 在一个键值对中，键必须是...

  • 大数据时代常用的几类Key-Value(NoSQL)数据库

    一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写...

  • 高性能的Key-Value数据库：Redis

    NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。 随着互联网web- 0网站的兴起，传统的关系数据库在应付web- 0网站，特别是超大规模和高并发的SNS类型的web- 0纯...

  • Key-value数据库

    Key-value数据库是一种以键值对存储数据的一种数据库，...Redis是一个Key-Value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。另外redis是

  • jsp物流信息网建设(源代码+论文)(2024vl).7z

    1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于计算机科学与技术等相关专业，更为适合；

  • 中小学教师教育教学情况调查表（学生家长用）.docx

    中小学教师教育教学情况调查表（学生家长用）

  • 航空车辆检测8-YOLO（v5至v11）、COCO、CreateML、Paligemma、TFRecord、VOC数据集合集.rar

    航空车辆检测8-YOLO（v5至v11）、COCO、CreateML、Paligemma、TFRecord、VOC数据集合集.rarTepegozz-V2 2024-04-21 12:16 pm ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包含4794张图像。 Tepegozz以可可格式注释。 将以下预处理应用于每个图像： *像素数据的自动取向（带有Exif-Arientation剥离） *调整大小为640x640（拉伸） 应用以下扩展来创建每个源图像的3个版本： *水平翻转的50％概率 *垂直翻转的50％概率 *随机裁剪图像的0％至20％ * -15和+15度之间的随机旋转 * 0到1.7像素之间的随机高斯模糊 *将盐和胡椒噪声应用于0.1％的像素 以下转换应用于每个图像的边界框： *以下90度旋转之一的同等概

  • LabVIEW实现NB-IoT通信【LabVIEW物联网实战】

    资源说明：https://blog.csdn.net/m0_38106923/article/details/144637354 一分价钱一分货，项目代码可顺利编译运行~

  • jsp网上购书系统设计（源代码+论文）(202490).7z

    1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于计算机科学与技术等相关专业，更为适合；

  • jsp网络购物系统[适合毕业设计](202429).7z

    1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于计算机科学与技术等相关专业，更为适合；

  • 【图像去雾】基于matlab暗通道先验和引导图像过滤单图像去雾【含Matlab源码 9914期】.zip

    Matlab领域上传的视频均有对应的完整代码，皆可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作

  • 深圳建设工程公司合同管理制度.docx

    深圳建设工程公司合同管理制度

  • 【java毕业设计】智慧社区综合平台（源代码+论文+PPT模板）.zip

    有java环境就可以运行起来 ,zip里包含源码+论文+PPT, 系统设计与功能： 文档详细描述了系统的后台管理功能，包括系统管理模块、新闻资讯管理模块、公告管理模块、社区影院管理模块、会员上传下载管理模块以及留言管理模块。 系统管理模块：允许管理员重新设置密码，记录登录日志，确保系统安全。 新闻资讯管理模块：实现新闻资讯的添加、删除、修改，确保主页新闻部分始终显示最新的文章。 公告管理模块：类似于新闻资讯管理，但专注于主页公告的后台管理。 社区影院管理模块：管理所有视频的添加、删除、修改，包括影片名、导演、主演、片长等信息。 会员上传下载管理模块：审核与删除会员上传的文件。 留言管理模块：回复与删除所有留言，确保系统内的留言得到及时处理。 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上 数据库工具：Navicat11及以上 开发软件：eclipse/idea Maven包：Maven3.3及以上

  • 基于yolov5实现目标检测+双目摄像头实现距离测量源码

    基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计） 基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计） 基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计） 基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计） 基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计） 基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测+双目摄像头实现距离测量源码+文档（毕业设计）基于yolov5实现目标检测

  • 基于Java技术的下拉导航菜单设计源码

    该项目是一款采用Java技术实现的下拉式导航菜单设计源码，包含53个文件，涉及18个Java源文件、11个XML配置文件、9个PNG图片文件、6个JSON数据文件、4个Gradle构建脚本、2个Markdown文档以及1个开源许可证文件。

  • LitJsonDLL类库

    LitJsonDLL类库

Global site tag (gtag.js) - Google Analytics