`
cryolite
  • 浏览: 581345 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

riak对大数据文件或对象的支持问题

阅读更多
很遗憾在2011年12月的时候,basho宣布不再提供对luwak的支持。因为luwak有设计缺陷

引用
From a technical standpoint, Luwak has some problems with the way in which files are chunked and manifest of those chunks is maintained.

Specifically, there is no good way of knowing when a given chunk is no longer in use, which creates a very thorny distributed garbage collection issue -- this is a fundamental design problem. In addition, the manifest of chunks does not properly handle situations where siblings of the manifest occur -- this is a significant implementation problem. These two issues, in particular, have led us to stop further development of Luwak and investigate other architectural approaches.

Above and beyond these technical issues, Luwak also doesn't solve a host of other problems that most people who want to store files in Riak encounter. We are in the process of building a complete solution for multi-tenancy file storage in Riak -- more info on that will be available next month.


一个替代模块在luwak终止后就在开发中,不过暂时不会开源。
新版的riak1.1依然可以使用luwak。
http://lists.basho.com/pipermail/riak-users_lists.basho.com/2012-February/007515.html

新模块和luwak没有任何关系,不分享luwak的代码

这个新的替代luwak的应用似乎已经实现了,在Riak CS上已经有提供5GB的大数据支持


但是,到目前为止(2011-5-24),即使是在riak企业版中还没有看到对Large Object Support的支持。
分享到:
评论

相关推荐

    Laravel开发-laravel-riak .zip

    5. **处理事务**:由于 Riak 不支持 ACID 事务,你可能需要使用乐观锁或其他并发控制策略来确保数据一致性。 6. **错误处理和故障切换**:集成 Riak 后,应处理可能出现的连接问题和网络异常,确保应用的健壮性。 ...

    前端开源库-riak-js

    RIAK是一款分布式键值存储系统,广泛应用于大数据、云计算以及NoSQL解决方案中。riak-js库使得前端开发者能够方便地在JavaScript应用中存取和操作RIAK数据。 1. **RIAK简介** RIAK是由Basho Technologies开发的...

    riak-formula:安装和管理 Riak

    5. **Riak CS**:Riak CS 提供了对象存储服务,支持多租户、访问控制列表(ACLs)和计量计费功能。使用 Riak CS-Control 可以进行用户管理、性能监控和故障排查。 6. **Stanchion**:Stanchion 是 Riak CS 的一部分...

    二、大数据与分布式.pdf

    大数据时代,分布式文件系统成为了管理和处理大量数据的关键。这类系统构建在多台服务器上,通过统一管理多个节点上的文件,为用户提供单一的文件视图和访问机制。目前流行的分布式文件系统是基于互联网环境,设计...

    Big Data Glossary-大数据术语

    它支持灵活的数据模式,适用于实时分析、大数据和内容管理系统等多种应用场景。 **2.2 CouchDB** CouchDB是另一个流行的文档导向型数据库,以其独特的复制机制而闻名。它支持RESTful API,适合用于Web应用开发。 ...

    play2-riak:用于播放框架 2.0 的 riak 2

    3. **对象映射**:为了将应用程序中的对象(如模型类)与 Riak 中的键值进行映射,你可能需要定义特定的策略或使用框架提供的默认策略。 4. **操作数据**:使用提供的 API 进行数据的增删改查操作。例如,`save()` ...

    elasticsearch-cloud-aws-0.18.5.zip

    3. Riak:分布式键值存储系统,提供高可用性和可扩展性,适合大数据存储。 4. Hadoop:开源的大数据处理框架,包括MapReduce模型,用于并行计算。 5. Riak Hadoop Connector:连接Riak和Hadoop的桥梁,实现数据在...

    8种Nosql数据库系统对比

    - **大数据支持**:支持大数据对象处理。 - **应用场景**:适用于需要高度容错能力和灵活数据处理的应用场景。 通过上述介绍可以看出,尽管这些NoSQL数据库都属于同一类别,但在具体特性和应用场景上存在较大差异。...

    MongoDB面试专题及答案.pdf

    NoSQL 数据库有多种类型,例如:MongoDB, Cassandra, CouchDB, Hypertable, Redis, Riak, Neo4j, HBASE, Couchbase, MemcacheDB, RevenDB, Voldemort 等。 MongoDB 与 RDBMS 的差别 MongoDB 和 RDBMS 都是免费开源...

    MongoDB 43 道面试题及答案.docx

    它支持高效的数据存储和检索功能,广泛应用于大数据、云计算和移动应用等领域。本文将对 MongoDB 的基本概念、特性和应用场景进行详细的解释。 什么是 MongoDB? MongoDB 是一种提供高性能、高可用性和易于扩展的...

    2017辽宁当代科学技术新知识网上考试答案..doc

    16. 通信对象:传感网主要实现物对物的通信。 17. 全球数据量:2013年底,全球数据量达到3.7ZB。 18. 印刷材料数据总量:约为200EB。 19. 分布式文件系统:Google的GFS是大数据领域的里程碑。 20. 并行数据处理...

    Redis的使用

    NoSQL数据库通常具有高度可扩展性、灵活性以及对非结构化或半结构化数据的支持能力。 ##### 1.2 NoSQL数据库的分类 NoSQL数据库主要分为四类: - **键值(Key-Value)存储数据库**:如TokyoCabinet/Tyrant、Redis、...

    《10天掌握MongoDB》2012翻新完整版

    作为一种全新的思维方式,NoSQL 不仅挑战了传统的数据管理和存储方法,而且为大数据时代提供了更为灵活和高效的解决方案。 #### NoSQL 数据库的主要优势与劣势 **优点:** - **高并发读写:**NoSQL 数据库能够支持...

    20XX 辽宁当代科学技术新知识网上考试答案;.doc

    20. Google公司在大数据领域有三个重要贡献:分布式文件系统GFS、并行数据处理框架MapReduce和分布式数据管理系统BigTable。 21. 数据预处理是解决数据类型不统一、数据残缺等问题的关键步骤。 22. MapReduce适合...

    2022辽宁当代科学技术新知识网上考试答案整理.docx

    9. 传感网通信的对象是物对物,即设备之间的交互。 10. 到2013年底,全球数据量达到3.7ZB(泽字节)。 11. 人类社会印刷材料的数据总量约为200EB(艾字节)。 12. 谷歌公司开发的分布式文件系统GFS是大数据领域的...

    存储:国家租金

    1. **文件系统操作**:Go语言提供了丰富的标准库`os`和`io/ioutil`,支持对文件系统的操作,如读写文件、创建目录、移动文件等,使得开发者能够轻松地处理本地存储需求。 2. **网络存储接口**:Go语言的标准库`...

    Python-分布式系统资源大列表

    在分布式数据库方面,Cassandra、MongoDB和Riak等NoSQL数据库提供了良好的水平扩展能力,适合大数据场景。Python有对应的驱动程序,如cassandra-driver、pymongo和riak-py,便于与这些数据库进行交互。而对于关系型...

Global site tag (gtag.js) - Google Analytics