阅读更多

4顶
0踩

数据库
在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。

一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能。

本文就为你介绍9种用于大数据处理的免费键值存储数据库。

1.  Aerospike 社区版



Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。

Aerospike主要用于广告业务,作为一个服务器端的cookie存储来使用,在这种场景下读取和写入性能是至关重要的。

官网:http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/

相关资料:DocumentationFAQBlogForums

2.  LevelDB



Leveldb是Google开发的一个非常高效的kv数据库,支持billion级别的数据量,在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计,特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持,在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎,并部署在线上使用。

官网:http://code.google.com/p/leveldb/

相关资料:BenchmarksMailing ListTwitter

3.  Scalaris



Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统,提供的 API 包括:Java、Python、Ruby和JSON。

官网:http://scalaris.googlecode.com/

相关资料:Users and Developers GuideFAQMailing List

4.  Project Voldemort



Voldemort是一个分布式键值存储系统,是Amazon's Dynamo的一个开源克隆。特性如下:

  • 支持自动复制数据到多个服务器上。
  • 支持数据自动分割所以每个服务器只包含总数据的一个子集。
  • 提供服务器故障透明处理功能。
  • 支持可拨插的序化支持,以实现复杂的键-值存储,它能够很好的5.集成常用的序化框架如:Protocol Buffers、Thrift、Avro和Java Serialization。
  • 数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
  • 每个节点相互独立,互不影响。
  • 支持可插拔的数据放置策略
官网:http://project-voldemort.com/

相关资料:WikiMailing ListGithubProject Voldemort: Scaling Simple StorageServing Large-scale Batch Computed Data with Project Voldemort

5.  HyperDex



HyperDex是一个分布式、可搜索的键值存储系统,特性如下:

  • 分布式KV存储,系统性能能够随节点数目线性扩展
  • 吞吐和延时都能秒杀现在风头正劲的MonogDB,吞吐甚至强于Redis
  • 使用了hyperspace hashing技术,使得对存储的K-V的任意属性进行查询成为可能
官网:http://hyperdex.org/

相关资料:DocumentationBlogGitHubFAQAnnouncement Mailing ListDiscussion Mailing List

6.  Berkeley DB



Berkeley DB是一个开源的文件数据库,介于关系数据库与内存数据库之间,使用方式与内存数据库类似,它提供的是一系列直接访问数据库的函数,而不是像关系数据库那样需要网络通讯、SQL解析等步骤。

官网:http://www.oracle.com/technetwork/products/berkeleydb/overview/index.html

相关资料:WikiForumsLaunchpad

7.  Apache Accumulo



Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建。

官网:http://accumulo.apache.org/

相关资料:ManualMailing ListsApache Accumulo Users Group

8.  Redis



Redis是一个高性能的key-value存储系统,和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。与memcached一样,为了保证效率,数据都是缓存在内存中,区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了主从同步。

Redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端,使用很方便。

官网:http://redis.io/

相关资料:DocumentationTutorialsFAQMailing ListTwitter

9.  Apache Cassandra



Apache Cassandra是一个混合型的非关系数据库,它最初由Facebook开发,用于储存特别大的数据。

Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra 的一个写操作,会被复制到其它节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能是比较简单的事情,只管在群集里面添加节点就可以了。

官网:http://cassandra.apache.org/

相关资料:WikiGetting Started

Via linuxlinks
  • 大小: 2.1 KB
  • 大小: 9.9 KB
  • 大小: 6.3 KB
  • 大小: 23.2 KB
  • 大小: 6.4 KB
  • 大小: 11.1 KB
  • 大小: 11.2 KB
  • 大小: 13.9 KB
  • 大小: 9.2 KB
4
0
评论 共 4 条 请登录后发表评论
4 楼 zuoguiyefengliu 2016-11-02 11:03
huang_yong 写道
怎么没有看到Memcached、MongoDB?


mongoDB不是key-value数据库是文档型数据库
3 楼 huang_yong 2014-04-10 23:36
sp42 写道
huang_yong 写道
怎么没有看到Memcached、MongoDB?
9494

我都回忆不起来一年前竟然评论过这篇,哈哈!
2 楼 sp42 2014-04-08 22:03
huang_yong 写道
怎么没有看到Memcached、MongoDB?
9494
1 楼 huang_yong 2013-05-02 12:30
怎么没有看到Memcached、MongoDB?

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • (转)[转]大数据时代的 9 大Key-Value存储数据库

    一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少...

  • [转]大数据时代的 9 大Key-Value存储数据库

     一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写...

  • 转载和积累系列 - 大数据时代的 9 大Key-Value存储数据库

    一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减

  • 从零开始设计键值数据库(KEY-VALUE STORE)

    键值存储(key-value store),也被称为键值数据库(key-value database),是一个非关系型数据库。每一个独特的标识符都被存储为一个带有相关值的键。这种数据配对被称为 "键-值 "对。 在一个键值对中,键必须是...

  • 大数据时代常用的几类Key-Value(NoSQL)数据库

    一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写...

  • 高性能的Key-Value数据库:Redis

    NoSQL(NoSQL = Not Only SQL),意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库。 随着互联网web- 0网站的兴起,传统的关系数据库在应付web- 0网站,特别是超大规模和高并发的SNS类型的web- 0纯...

  • Key-value数据库

    Key-value数据库是一种以键值对存储数据的一种数据库,...Redis是一个Key-Value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。另外redis是

  • 基于SSM框架设计的婚庆公司平台项目

    基于SSM框架的婚庆公司平台项目,分为门户模块和后台管理模块两个部分,主要涉及到权限管理和RBAC数据库设计。.zip项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用

  • 基于单片机protues仿真的智能电饭锅(仿真图、源代码)

    基于单片机protues仿真的智能电饭锅(仿真图、源代码) 该设计为基于单片机protues仿真的智能电饭锅,实现电饭锅功能; 1、系统使用51单片机为核心设计; 2、数码管显示温度、时间等; 3、市电供电,通过继电器切换和电热丝模拟; 4、按键设置和切换;

  • 基于MATLAB的永磁同步电机(PMSM)磁场定向控制仿真模型研究:非线性系统分析与参考文献分享,基于MATLAB的永磁同步电机(PMSM)磁场定向控制仿真模型研究:非线性系统分析与参考文献分享,基于

    基于MATLAB的永磁同步电机(PMSM)磁场定向控制仿真模型研究:非线性系统分析与参考文献分享,基于MATLAB的永磁同步电机(PMSM)磁场定向控制仿真模型研究:非线性系统分析与参考文献分享,基于matlab的永磁同步电机(PMSM),磁场定向控制仿真模型。 永磁同步电机(PMSM)是一个非线性系统,具有多变量、强耦合的特点。 可提供参考文献 ,基于Matlab的PMSM; 磁场定向控制仿真模型; 非线性系统; 多变量系统; 强耦合。,基于MATLAB的PMSM磁场定向控制仿真模型研究

  • 基于Vue+MySQL+Golang+Gin开发的前后端分离的个人博客系统.zip(毕设&课设&实训&大作业&竞赛&项目)

    项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行,功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用

  • 基于ssm框架的商品管理系统(毕设&课设&实训&大作业&竞赛&项目)

    商品管理系统,使用ssm框架开发,包括用户注册及校验、邮箱激活、对商品信息的增删改查等,并实现了高德地图接口进行定位和支付宝接口(通过沙箱测试)。.zip项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行,功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用

  • 企业大数据治理平台-统一指标库建设方案

    内容概要:本文档主要介绍了企业在进行大数据治理过程中构建统一指标库的方法、背景及其实现路径。文档首先阐述了数据治理的必要性和现状中存在的挑战,然后具体讲述了统一指标库的概念、建设目标和背景、以及具体实现的功能和技术路线。接着展示了统一指标库的核心功能包括需求管理、数据全生命周期管理、血缘关系管理、指标数据的高效利用及可视化等。此外还涉及如何在多个层面实现数据的集成和分析,确保数据质量和口径的一致性,最终提升企业的决策能力和管理水平。 适用人群:本文档适用于负责企业信息化建设、数据分析与治理的高级管理人员及技术人员。 使用场景及目标:主要应用于需要规范和完善数据治理体系的企业机构中,目的是帮助解决当前普遍存在的数据孤岛现象,以及由此引发的各种管理难题。同时,也适用于希望通过引入先进的技术和管理方法,增强自身的竞争力和服务水平的相关单位。 其他说明:通过统一的指标管理系统实现了不同业务部门间数据共享的目标,提高了工作效率,减少了冗余劳动。另外,通过案例研究表明,在实际应用中有显著成效,能够为企业节约大量时间和成本。

  • 基于SSM设计的校园二手物品交易网站

    项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用

  • MySQL性能优化技术详解: 查询、索引、缓存及配置优化方案提升数据库效率

    内容概要:本文详细介绍了关于MySQL的各种优化措施和技术手段,旨在帮助开发者更好地理解和掌握MySQL优化技能。涵盖了从SQL语句层面(比如索引优化、查询重构)、数据库系统配置参数调节(例如 innodb_buffer_pool_size、max_connections)、以及外部应用缓存(如Redis的使用),还提到分区表、规范化和反规范化理论及其实际运用方法等,以求最大程度地挖掘MySQL性能潜力,提供高效的解决方案来应对实际项目遇到的问题。 适用人群:主要面向从事互联网及相关行业工作的数据库管理员(DBA),软件工程师尤其是关注后端系统的架构师或者程序员群体。 使用场景及目标:适用于想要提升MySQL读写效能的企业级Web应用、大数据处理平台以及其他需要高频次读写的业务逻辑环境。同时,文中提供的技巧有助于构建稳定可靠的数据服务平台,在线事务处理(OLTP)应用程序的性能优化方面也有着积极的作用。

  • 基于SSM设计的学生考勤管理系统.zip

    项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用

  • GS-DHR协同数字化人力资源管理系统白皮书 V8.1(1).ppt

    GS-DHR协同数字化人力资源管理系统白皮书 V8.1(1).ppt

  • 基于SSH的网上购物系统(毕设&课设&实训&大作业&竞赛&项目)

    基于SSH的网上购物系统。系统分为前台和后台,主要实现商品分类、商品浏览、加入购物车和生成订单以及网上支付等功能。.zip项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行,功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用

  • DeepSeek写的贪吃蛇手机小游戏

    使用DeepSeek写的手机H5贪吃蛇小游戏

Global site tag (gtag.js) - Google Analytics