分库分表的背景:
在一些互联网项目中,经常会遇到一些表在短时间之内数据量增长很快,随着时间的推移,数据量会越来越大,如果不进行优化处理,性能会逐渐下降,甚至服务挂掉。因此分库分表是在做这类项目时必须要考虑的问题,分库分表是解决数据库压力的好办法。
分库分表的几个概念:
1. 分库:将原本在同一个数据库的数据,根据业务分类,将不同的业务模块的数据放在一起,例如:将用户注册登录相关的表放在一个库中,将核心业务相关的表放在另一个库中。这样可以根据不同的模块访问量,来设计该数据库服务器的性能参数。
2. 分表:将原本在同一张表中的数据分成多张表,这里包含水平分表和垂直分表。
2.1 垂直分表:如果一张表的字段较多,根据业务分组,将不同业务的字段拆分成多张字表。分表理由:根据数据的活跃度进行分离,(因为不同活跃的数据,处理方式是不同的)。
案例:
对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。这样纵向分表后:
首先、存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据。活跃数据,可以使用Innodb,可以有更好的更新速度。
其次、对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。
其实、对于一些特殊的活跃数据,也可以考虑使用memcache、redis之类的缓存,等累计到一定量再去更新数据库。
2.2 水平分表:将一张表分成多张除了表名不同,但数据结构完全相同的表。分表理由:根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。
案例:同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。
相关推荐
数据库分库分表是应对大数据量和高并发场景下的常用策略,目的是为了减轻单个数据库的负担,提高系统的整体性能和稳定性。随着互联网业务的发展,单个关系型数据库的存储容量、连接数和处理能力往往难以满足需求。当...
数据库分库分表的技术演进与最佳实践 在移动互联网时代,海量数据的产生对数据库的存储和查询提出了很大的挑战。面对如此庞大的数据量,单一的数据库表已经无法满足需求,而数据库分库分表技术则是解决这个问题的...
培训数据库分库分表,以及分布式数据库搭建各种问题解决方案 1.数据库分片原理 2.Mycat与Sharding-JDBC 对比 3.分布式数据库问题解决方案,包括分配、一致性、事务控制等
分库分表采用sharding-jdbc 数据库连接池管理是alibaba的druid-spring-boot-starter 项目使用springboot搭建,junit测试,为了方便实现对数据库操作继承了mybatisplus,为了少些get、set 引入lombok
《Mycat数据库分库分表详解》 在大数据时代,单个数据库处理海量数据的能力逐渐捉襟见肘,这催生了数据库分库分表的需求。Mycat,作为一个开源的分布式数据库中间件,应运而生,为解决大数据场景下的高性能、高可用...
阿里巴巴在应对大数据量挑战时,采用了数据库分库分表的策略,这涉及到一系列的技术实践和解决方案。早期,阿里巴巴团队基于开源项目Cobar开发了分布式数据层平台,旨在解决Oracle数据库扩展性问题。Cobar虽然在一定...
数据库分库分表存储分析思路 在大数据量存储时,如何解决常见问题和实施合理的解决方案是非常重要的。数据库分库分表存储是解决大数据量存储的有效方法之一,但是它也存在一些问题,例如join操作问题、事务问题、...
java 数据库分库分表
数据库分库分表是应对大数据量和高并发场景下的常用技术策略,旨在提高数据库系统的性能和稳定性。当单个数据库的存储容量、连接数或处理能力达到极限时,通过数据切分可以有效地分散负载,缩短查询时间。主要分为...
数据库分库分表是一种有效的数据库架构设计,用于提升性能和可扩展性。通过选择合适的分库分表策略,并在Java中实现相应的数据路由逻辑,可以构建出高性能、高可用的数据库系统。随着技术的发展,分库分表将继续在...
因此,数据库分库分表架构实践成为解决这一问题的关键策略之一。本文将深入探讨数据库分库分表的几种主要方法及其实践中的问题和解决方案,旨在为企业提供有效的性能优化途径。 首先,我们来看垂直分表。垂直分表是...
### 数据库分库分表(Sharding)技术详解 #### 一、基本概念与原理 **数据库分库分表(Sharding)**是一种常见的数据库优化技术,主要用于解决大规模数据存储和高并发访问带来的性能瓶颈问题。它通过将单一数据库...
《Mycat数据库分库分表中间件》 在当今大数据时代,单个数据库系统往往无法满足高并发、海量数据的处理需求。为了解决这一问题,Mycat应运而生,它是一款开源的、基于Java开发的数据库中间件,专门用于实现数据库的...
mysql数据库分库分表的几种方式,数据库优化的一部分...
### 当当开源Sharding-JDBC:轻量级数据库分库分表中间件 #### 概述 当当网近期开源了一款名为Sharding-JDBC的轻量级数据库分库分表中间件。作为一款高性能、易用性高的数据库水平分片框架,Sharding-JDBC在设计上...
MyBatis实现Mysql数据库分库分表操作和总结 MyBatis是一款流行的持久层框架,能够与Mysql数据库进行交互。在大规模的应用系统中,数据库的性能和可扩展性变得非常重要。为了解决这个问题,需要实现数据库的分库分表...
数据库分库分表(sharding)
为了提升MySQL数据库的性能和可用性,常采用的策略是数据库分库分表,其中可以分为垂直分库、垂直分表、水平分库、水平分表等方法。 垂直分表是针对数据库表中的列进行拆分,将一张大表拆成若干个结构更小的表,以...