`
冷静
  • 浏览: 146892 次
  • 性别: Icon_minigender_1
  • 来自: 佛山
社区版块
存档分类
最新评论

HiveDB, 一个横向切分MySQL海量数据的框架

    博客分类:
  • DB
阅读更多

1. HiveDB是在2007年5月"Bay Area Community Meetup"首次出现,底层基于Hibernate shards基础实现。Hibernate shards 则是 Google 的开发工程师在"20%工作时间可以干别的有兴趣事情"环境下开发出来的一个 Hibernate extension,贡献给开源社区希望发扬光大;

2. HiveDB推出到现在也不算短,开发进度相对平缓。功能上已经处于一个相对稳定1.0状态,核心功能已经基本没大的问题。作者声称已经在一个每秒请求数达数千次的,包含海量数据的生产环境稳定运行;

3. HiveDB/Hibernate shards所适用的典型场合就是一个海量记录的表,可以根据某个规则分开存到多个相同表结构的数据库服务器上。和HSCALE功能差不多,但HSCALE当前版本实际上还不能跨服务器的;

4. 可以查询跨服务器数据,但不能做 order/join;

5. 具有类似mysql proxy之类多服务器容错功能,单独服务器发生故障不影响系统正常运行,通过类似ha-jdbc思想实现;

6. 目前只支持Java语言,有支持各种语言如php/python/perl/ruby hive client的计划,但是目前只有一个python hive client测试版可用。


图片:按字段(Partition Key)切分典型场合

 

分享到:
评论

相关推荐

    mysql海量数据的存储和访问解决方案借鉴.pdf

    为了解决这一问题,数据切分策略应运而生,通过横向扩展数据层来降低单台服务器的负载,提升系统的整体性能。 数据切分主要包括水平切分,即将数据分散到多个数据库或表中,以降低单点故障的影响并提高读写速度。...

    mysql海量数据的存储和访问解决方案宣贯.pdf

    众所周知,MySQL 5 之后才有了数据表分区功能,那么在此之前,很多MySQL 的潜在用户都对MySQL 的扩展性有所顾虑,而是否具备分区功能就成了衡量一个数据库可扩展性与否的一个关键指标(当然不是唯一指标)。...

    mysql海量数据的存储和访问解决方案汇编.pdf

    总之,MySQL海量数据的存储和访问解决方案主要依赖于Sharding技术,通过数据水平切分、路由规则和负载均衡策略,实现数据库的横向扩展,提高系统性能和稳定性。在实际应用中,需结合业务需求和现有技术,选择适合的...

    mysql海量数据存储和访问解决方案

    对于一个大型的互 联网应用,每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能,横向扩展数据层已 经成为架构研发人员首选的方式。水平切分...

    Sina架构师:基于MySQL可扩展架构设计 pdf

    主从复制允许一个MySQL实例(主节点)的数据被同步到其他实例(从节点),这样即使主节点出现问题,从节点也可以接管服务,保证系统的连续性。此外,通过多层复制,可以构建更复杂的树状或网状结构,进一步提高系统...

    Android-Android横向水平智能刷新框架-SmartRefreshHorizontal

    在Android应用开发中,下拉刷新功能已经成为标准组件,它为用户提供了一种便捷的方式来更新列表内容。然而,大多数刷新框架如...对于那些需要处理横向数据流的应用,SmartRefreshHorizontal是一个值得考虑的优秀选择。

    MYSQL 数据库水平切分的实现原理解析

    假设我们有一个博客应用,其中的日志表(Article)具有以下字段:`id`(主键)、`title`(标题)、`content`(内容)、`user_id`(作者ID)。为了实现数据切分,我们可以选择按`user_id`进行分库,具体做法如下: -...

    数据库水平切分的实现原理解析

    例如,阿里巴巴的Amoeba项目是一个JDBC层的解决方案,而淘宝基于iBatis和Spring的分布式数据访问层则是在ORM层实现的。这些方案都需要考虑如何有效地制定和执行路由规则,以及如何在不影响业务的情况下进行扩展,如...

    大数据实战——测试工具领域应对海量数据的解决方案.pdf

    因此,目标是构建一个能够直观展示多维度稳定性趋势的系统,包括多时间跨度、多业务场景和多层次的信息。 实现这一目标的关键在于克服实时性和海量数据处理的难点。实时性意味着需要每秒处理大量的稳定性数据,例如...

    mysql横向转纵向、纵向转横向排列的方法

    在MySQL中,我们可以使用`CASE`语句配合`GROUP BY`来实现数据的横向到纵向转换。这种转换通常用于将多列值合并到单个记录中,每个值对应一个新列。以下是一个示例: ```sql SELECT user, SUM(CASE WHEN km = ...

    横向数据重复的插件dw插件

    总之,“横向数据重复的插件dw插件”是一个针对数据仓库环境的实用工具,用于检测和处理数据表中的横向重复数据,确保数据的准确性和一致性,对于数据分析师和数据科学家来说,是进行高效数据管理的重要辅助手段。

    基于海量数据优化管理的分布式文件存储系统应用研究.pdf

    可拓展性是分布式文件存储系统的一个显著特点,它通过将企业内所有的存储有数据的设备有机连接起来,其可以通过扩展性将数据存储资源扩展形成数百台甚至几千台的设备存储集群。 分布式文件存储系统的优点是可以避免...

    SQL创建存储过程[横向显示列的数据]

    例如,这是一个基本的存储过程示例,用于获取`t001`表的列并将其横向显示: ```sql CREATE PROCEDURE sp_get_in_data AS BEGIN DECLARE @sql NVARCHAR(MAX); SELECT @sql = STRING_AGG('WHEN ''' + COLUMN_NAME +...

    基于MySQL的高可用可扩展架构探讨.pdf

    MySQL Cluster是另一个提升扩展性的解决方案,它提供了一种自动数据分布和冗余的集群架构,能够在多台服务器间共享数据,实现无单点故障的高可用性。通过数据分区和节点间的复制,MySQL Cluster可以在不牺牲性能的...

    WPF_ListView横向显示.zip

    然而,通过自定义布局或使用特定的数据模板,我们可以使ListView的显示模式转变为横向,即每列显示一个数据项。这在显示一组相关但较短的数据时特别有用,例如时间线、标签或分类。 首先,我们需要创建一个...

    横向水平荷载作用下框架结构的内力和侧移计算PPT学习教案.pptx

    建筑除了需要考虑地震作用外,风荷载也是一个不可忽视的横向水平荷载。风荷载标准值的计算涉及到风振系数、体型系数、高度变化系数和基本风压等参数。风荷载作用下,结构同样会产生内力,这就需要工程师进行详细的...

    Android横向动态加载数据一行.zip

    这个"Android横向动态加载数据一行.zip"可能包含了一个实现这种功能的示例项目,它可能使用了Delphi作为开发工具,尽管Delphi通常是用于Windows桌面应用开发,但这里可能是通过FireMonkey框架来构建Android应用。...

    切分对话框实例,实现对话框切分

    总的来说,"切分对话框实例,实现对话框切分"是一个涉及Windows GUI编程基础、MFC框架理解和自定义控件实现的综合实践。通过理解以上文件的作用和实现步骤,开发者可以有效地在自己的项目中应用类似的功能。

Global site tag (gtag.js) - Google Analytics