1。水平分割:按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。
水平分割通常在下面的情况下使用:
A 表很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,提高查询速度。
B 表中的数据本来就有独立性,例如表中分别记录各个地区的数据或不同时期的数据,特别是有些数据常用,而另外一些数据不常用。
C需要把数据存放到多个介质上。
例如法规表law就可以分成两个表active-law和 inactive-law。activea-authors表中的内容是正生效的法规,是经常使用的,而inactive-law表则使已经作废的法规,不常被查询。水平分割会给应用增加复杂度,它通常在查询时需要多个表名,查询所有数据需要union操作。在许多数据库应用中,这种复杂性会超过它带来的优点,因为只要索引关键字不大,则在索引用于查询时,表中增加两到三倍数据量,查询时也就增加读一个索引层的磁盘次数。
2。垂直分割:按列进行分割,即把一条记录分开多个地方保存,每个子表的行数相同。
把主码和一些列放到一个表,然后把主码和另外的列放到另一个表中。如果一个表中某些列常用,而另外一些列不常用,则可以采用垂直分割,另外垂直分割可以使得数据行变小,一个数据页就能存放更多的数据,在查询时就会减少I/O 次数。其缺点是需要管理冗余列,查询所有数据需要join操作。
例如有表T1
id name qty
--------------
1 p1 10
2 p2 20
3 p3 30
4 p4 40
......
......
垂直分割就是按列进行分割,即把一条记录分开多个地方保存,每个子表的行数相同。
例如表T1,可以把id和name放到数据文件p1,把qty放到数据文件p2。
水平分割就是按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。
像表T1,可以把id为单数的放到数据文件P1,双数的放到数据文件P2
表散列与水平分割相似,但没有水平分割那样的明显分割界限,
它由哈希函数和键值决定一条记录的保存文件,这样是为了IO更加均衡。
分布式数据库技术一般可以从2个方面来实现,纵向分割和横向分割。
所谓纵向分割,即以数据库表为单位进行分割,不同的数据库表存储在不同的数据库里。例如:有数据库表1,2,3,4,5,6;其中表1,2存储在数据库A中,表3,4,5,6存储在数据库B,这样的分割方案便是纵向分割。
所谓横向分割,即让同一个表的数据分别存储在不同的数据库中。例:表1中前10000条数据存储在数据库A中,10001-20000条数据存储在数据库B中,...
数据库分布式是一个比较复杂的技术,需要经过充分设计和验证。
Hibernate Shards是一个Hibernate应用横向分割的分布式数据库解决方案的框架。它可以让一个Hibernate应用比较简单地加入横向分割的数据库分布式功能。
Hibernate Shards主要有以下特点:
1,沿袭Hibernate标准编程模型 - 也就是说如果你已经熟悉了Hibernate,那么也就会了Hibernate Shards,不必要学习新的Hibernate Shards使用方法
2,柔软的分割策略 - 你可以使用默认的分割方法,也可以定义你自己的分割策略
3,支持Virtual Shards - 你可以简单地修改分隔策略,Hibernate Shards的此特性让你简单地重新分割你的数据
4,免费,开放源代码 - Hibernate Shards发布在LGPL (Lesser GNU Public License)授权之下
查看Hibernate Shards快速开发指南,通过它你可以了解怎么样使用Hibernate Shards对数据进行横向分割。
Hibernate Shards:
http://www.hibernate.org/414.html
Hibernate Shards英文文档:
http://www.hibernate.org/hib_docs/shards/reference/en/html/
数据库中的水平分割和垂直分割http://blog.csdn.net/haydenwang8287/archive/2010/02/24/5321600.aspx
hibernate shards源自google的一个工程师小团队的20%项目。它提供一个对数据库水平分割的解决方案。
hibernate shards是对hibernate core进行了扩展,降低了复杂度。从概念上可以分成2部分。
1、基础逻辑
该部分对
• org.hibernate.Session
• org.hibernate.SessionFactory
• org.hibernate.Criteria
• org.hibernate.Query
进行了扩展。
• org.hibernate.shards.session.ShardedSession
• org.hibernate.shards.ShardedSessionFactory
• org.hibernate.shards.criteria.ShardedCriteria
• org.hibernate.shards.query.ShardedQuery
你可以很方便的使用就像普通的hibernate应用。
2、应用逻辑部分
提供三个接口,用来处理具体的实现策略
• org.hibernate.shards.strategy.selection.ShardSelectionStrategy
• org.hibernate.shards.strategy.resolution.ShardResolutionStrategy
• org.hibernate.shards.strategy.access.ShardAccessStrategy
ShardAccessStrategy:
获取数据的策略,目前已经包含的实现有:
SequentialShardAccessStrategy:顺序策略
ParallelShardAccessStrategy:并发策略
如果你想只取某一个库,目前你只能通过取具体的数据库的SessionFactory。目前在策略里还不支持取其中的某个或某几个库,暂时是所有
数据库都参与。
ShardSelectionStrategy:
当一个新数据保存时,决定存储到那个数据库。
ShardResolutionStrategy:
当数据修改后,判断同步到哪一个数据库。
官方文档
http://docs.jboss.org/hibernate/stable/shards/reference/en/html/index.html
分享到:
相关推荐
《Hibernate Shards:分布式数据库解决方案的深度解析》 Hibernate Shards是Hibernate框架的一个扩展,它为大型分布式系统提供了数据分片的功能。这个扩展允许开发者在多个数据库实例上分散存储数据,以实现高可用...
《Hibernate Shards:分布式数据库解决方案》 Hibernate Shards是Hibernate框架的一个扩展,旨在解决大型分布式系统中的数据存储问题。在单个数据库无法满足高并发、大数据量需求时,Hibernate Shards提供了一种将...
Hibernate Shards是在Hibernate的基础上,通过数据切分策略实现的一种分布式数据库解决方案。它允许我们将一个大型数据库逻辑上分割成多个较小的数据库(称为“分片”),每个分片可以独立运行在不同的服务器上,...
《PyPI官网下载:探索geonode_datastore_shards-0.1.tar.gz中的技术细节》 在Python的生态系统中,PyPI(Python Package Index)是最重要的资源库,它为开发者提供了一个分享和获取Python软件包的平台。本文将深入...
shards-jdbc分库分表实例 dataSources: ds0: !!org.apache.commons.dbcp.BasicDataSource driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3306/ds0 username: root password: ...
总结来说,Hibernate Shards是Java开发者处理大数据场景下的一种解决方案,虽然现在已被归档,但它背后的思路和技巧仍然值得借鉴。对于那些正在或即将面临大数据挑战的项目,理解并研究Hibernate Shards的工作原理,...
yarn add shards-vue // Install via NPM npm i shards-vue 模块捆绑器 如果使用的是或类的模块捆绑器,则可以在项目中包含整个Shards Vue库。 import Vue from 'vue' import ShardsVue from 'shards-vue' // ...
一个具有现代设计系统的免费React admin仪表板模板包以及许多自定义模板和... 过渡到更强大的解决方案(例如Redux)也非常简单。 所有主要模板都位于src/views内部。 src/layouts内部仅定义了一个布局(默认),但是,
npm install --save shards-ui bootstrap 依存关系 唯一的硬依赖性是Bootstrap 4.3.1,它需要在碎片之前包含在HTML文档中。 日期选择器和滑块控件也需要Shards JavaScript依赖项。 快速开始 如果您正在使用像webpack...
2. Hibernate Shards:Hibernate Shards 是一个基于 Java 的开源框架,用于实现数据库切分。它可以将一个大型数据库拆分成多个小的逻辑数据库,并提供了易于使用的 API 来管理这些小数据库。 3. 切分策略:文章讨论...
"crystal-shards-101"资源提供的清单可能包含了大量的常用Shards,涵盖了各种功能,如HTTP客户端、数据库连接、模板引擎等。这些Shards可以帮助开发者快速构建和扩展他们的应用程序。 6. **Shards的最佳实践** ...
1. **分片与复制**: Greenplum将数据分割成多个片段(shards),每个片段存储在一个节点上。为了提高容错性和可用性,每个片段通常会有一个或多个副本。这种设计使得查询可以并行执行,同时确保了数据的安全性。 2. *...
专业的MyBatis数据库切分框架 MyBatis Shards简介 MyBatis Shards在实现方式上完全借鉴于Hibernate Shards,目前可以认为是Hibernate Shards的一个迁移版本。 MyBatis Shards概述 MyBatis Shards采用无侵入性的方式...
6. **源代码组织**:DesignRevision-shards-dashboard-525efdc 这个文件名可能指的是该UI Kit的某个特定版本的源代码。源代码通常会按照模块和功能进行结构化,方便开发者理解和使用。 7. **社区支持**:作为开源...
从提供的压缩包子文件名"ec-shards-test-main"来看,这可能是项目的主要入口文件或者是构建后的主文件。在Vue.js项目中,主文件通常包含了应用的初始化设置,例如Vue实例的创建、路由配置以及全局组件的注册。 总的...
运行它crystal src/shards-info.cr 发展历程 psql -c 'CREATE DATABASE shards_info_development;' -U postgres crystal src/db.cr migrate 前端 安装附属设备: npm install 修改后: 运行npm run build 在src...
总的来说,Shards是一个强大且实用的UI工具包,它结合了Bootstrap 4的稳定性和现代设计趋势,为开发者提供了一套完整的解决方案,帮助他们快速构建专业级的Web应用。无论你是新手还是经验丰富的开发者,Shards都能...