- 浏览: 1504495 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (798)
- struts2 (42)
- servlet (20)
- quartz (4)
- jquery & ajax (24)
- tomcat (5)
- javascript (15)
- struts1 (8)
- 搜索关键字及链接 (3)
- fckeditor (3)
- Apache (5)
- spring (22)
- linux (3)
- 企业应用 (8)
- 综合应用 (13)
- 服务器 (2)
- 数据库 (85)
- 性能调优 (21)
- 网络应用 (15)
- 缓存技术 (8)
- 设计模式 (39)
- 面试题 (7)
- 程序人生&前辈程序员 (29)
- java基础 (59)
- hibernate (75)
- log4j (4)
- http (11)
- 架构设计 (28)
- 网页设计 (12)
- java邮件 (4)
- 相关工具 (11)
- ognl (7)
- 工作笔记 (18)
- 知识面扩展 (12)
- oracle异常 (1)
- 正则表达式 (2)
- java异常 (5)
- 项目实践&管理 (1)
- 专业术语 (11)
- 网站参考 (1)
- 论坛话题 (2)
- web应用 (11)
- cxf&webservice (22)
- freemarker (3)
- 开源项目 (9)
- eos (1)
- ibatis (6)
- 自定义标签 (3)
- jsp (3)
- 内部非公开文档(注意:保存为草稿) (0)
- 国内外知名企业 (2)
- 网店 (3)
- 分页 (1)
- 消费者习惯 (2)
- 每日关注 (1)
- 商业信息 (18)
- 关注商业网站 (1)
- 生活常识 (3)
- 新闻 (2)
- xml&JSON (5)
- solaris (1)
- apache.common (3)
- BLOB/CLOB (1)
- lucene (2)
- JMS (14)
- 社会进程 (8)
- SSH扩展 (2)
- 消费心理 (1)
- 珠三角 (1)
- 设计文档 (1)
- XWork&webwork (1)
- 软件工程 (3)
- 数据库及链接 (1)
- RMI (2)
- 国内外知名企业&人物 (1)
最新评论
-
司c马:
简介易懂、
OutputStream和InputStream的区别 -
在世界的中心呼喚愛:
解决我的问题
Java获取客户端的真实IP地址 -
bo_hai:
都是些基本的概念呀!
SSO -
tian_4238:
哥们,你也是搞水利这块的吧。
巧用SQLQuery中的addScalar -
loveEVERYday:
java.util.Date、java.sql.Date、java.sql.Time、java.sql.Timestamp小结
随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。
AD: <script src="http://www.51cto.com/js/article/keywords_ad_new.js"></script>
数据库大型应用解决方案总结:
一、负载均衡技术
负载均衡集群是由一组相互独立的计算机系统构成,通过常规网络或专用网络进行连接,由路由器衔接在一起,各节点相互协作、共同负载、均衡压力,对客户端来说,整个群集可以视为一台具有超高性能的独立服务器。
1、实现原理
实现数据库的负载均衡技术,首先要有一个可以控制连接数据库的控制端。在这里,它截断了数据库和程序的直接连接,由所有的程序来访问这个中间层,然后再由中间层来访问数据库。这样,我们就可以具体控制访问某个数据库了,然后还可以根据数据库的当前负载采取有效的均衡策略,来调整每次连接到哪个数据库。
2、实现多据库数据同步
对于负载均衡,最重要的就是所有服务器的数据都是实时同步的。这是一个集群所必需的,因为,如果数不据实时、不同步,那么用户从一台服务器读出的数据,就有别于从另一台服务器读出的数据,这是不能允许的。所以必须实现数据库的数据同步。这样,在查询的时候就可以有多个资源,实现均衡。比较常用的方法是Moebius for SQL Server集群,Moebius for SQL Server集群采用将核心程序驻留在每个机器的数据库中的办法,这个核心程序称为Moebius for SQL Server 中间件,主要作用是监测数据库内数据的变化并将变化的数据同步到其他数据库中。数据同步完成后客户端才会得到响应,同步过程是并发完成的,所以同步到多个数据库和同步到一个数据库的时间基本相等;另外同步的过程是在事务的环境下完成的,保证了多份数据在任何时刻数据的一致性。正因为Moebius 中间件宿主在数据库中的创新,让中间件不但能知道数据的变化,而且知道引起数据变化的SQL语句,根据SQL语句的类型智能的采取不同的数据同步的策略以保证数据同步成本的最小化。
数据条数很少,数据内容也不大,则直接同步数据
数据条数很少,但是里面包含大数据类型,比如文本,二进制数据等,则先对数据进行压缩然后再同步,从而减少网络带宽的占用和传输所用的时间。
数据条数很多,此时中间件会拿到造成数据变化的SQL语句, 然后对SQL语句进行解析,分析其执行计划和执行成本,并选择是同步数据还是同步SQL语句到其他的数据库中。此种情况应用在对表结构进行调整或者批量更改数据的时候非常有用。
3、优缺点
(1) 扩展性强:当系统要更高数据库处理速度时,只要简单地增加数据库服务器就 可以得到扩展。
(2) 可维护性:当某节点发生故障时,系统会自动检测故障并转移故障节点的应用,保证数据库的持续工作。
(3) 安全性:因为数据会同步的多台服务器上,可以实现数据集的冗余,通过多份数据来保证安全性。另外它成功地将数据库放到了内网之中,更好地保护了数据库的安全性。
(4) 易用性:对应用来说完全透明,集群暴露出来的就是一个IP
(1) 不能够按照Web服务器的处理能力分配负载。
(2) 负载均衡器(控制端)故障,会导致整个数据库系统瘫痪。
二、数据库的读写分离
1,实现原理:读写分离简单的说是把对数据库读和写的操作分开对应不同的数据库服务器,这样能有效地减轻数据库压力,也能减轻io压力。主数据库提供写操作,从数据库提供读操作,其实在很多系统中,主要是读的操作。当主数据库进行写操作时,数据要同步到从的数据库,这样才能有效保证数据库完整性。
(ebay的读写比率是260:1,ebay的读写分离)
(微软数据库分发)
2,实现方法:在MS Sql server中可以使用发布定义的方式实现数据库复制,实现读写分离,复制是将一组数据从一个数据源拷贝到多个数据源的技术,是将一份数据发布到多个存储站点上的有效方式。使用复制技术,用户可以将一份数据发布到多台服务器上。复制技术可以确保分布在不同地点的数据自动同步更新,从而保证数据的一致性。SQL SERVER复制技术类型有三种,分别是:快照复制、事务复制、合并复制。SQL SERVER 主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器,负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器,分发服务器包含有一个分发数据库,可接收数据的所有改变,并保存这些改变,再把这些改变分发给订阅服务器。
3,优缺点
(1)数据的实时性差:数据不是实时同步到自读服务器上的,当数据写入主服务器后,要在下次同步后才能查询到。
(2)数据量大时同步效率差:单表数据量过大时插入和更新因索引,磁盘IO等问题,性能会变的很差。
(3)同时连接多个(至少两个)数据库:至少要连接到两个数据数据库,实际的读写操作是在程序代码中完成的,容易引起混乱
(4)读具有高性能高可靠性和可伸缩:只读服务器,因为没有写操作,会大大减轻磁盘IO等性能问题,大大提高效率;只读服务器可以采用负载均衡,主数据库发布到多个只读服务器上实现读操作的可伸缩性。
三、数据库拆分(分布式)
通过某种特定的条件,将存放在同一个数据库中的数据分散存放到多个数据库上,实现分布存储,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器的负载压力。
垂直(纵向)拆分:是指按功能模块拆分,比如分为订单库、商品库、用户库...这种方式多个数据库之间的表结构不同。
水平(横向)拆分:将同一个表的数据进行分块保存到不同的数据库中,这些数据库中的表结构完全相同。
(纵向拆分)
(横向拆分)
1,实现原理:使用垂直拆分,主要要看应用类型是否合适这种拆分方式,如系统可以分为,订单系统,商品管理系统,用户管理系统业务系统比较明的,垂直拆分能很好的起到分散数据库压力的作用。业务模块不明晰,耦合(表关联)度比较高的系统不适合使用这种拆分方式。但是垂直拆分方式并不能彻底解决所有压力问题,例如 有一个5000w的订单表,操作起来订单库的压力仍然很大,如我们需要在这个表中增加(insert)一条新的数据,insert完毕后,数据库会针对这张表重新建立索引,5000w行数据建立索引的系统开销还是不容忽视的,反过来,假如我们将这个表分成100个table呢,从table_001一直到table_100,5000w行数据平均下来,每个子表里边就只有50万行数据,这时候我们向一张只有50w行数据的table中insert数据后建立索引的时间就会呈数量级的下降,极大了提高了DB的运行时效率,提高了DB的并发量,这种拆分就是横向拆分
2,实现方法:垂直拆分,拆分方式实现起来比较简单,根据表名访问不同的数据库就可以了。横向拆分的规则很多,这里总结前人的几点,
(1)顺序拆分:如可以按订单的日前按年份才分,2003年的放在db1中,2004年的db2,以此类推。当然也可以按主键标准拆分。
优点:可部分迁移
缺点:数据分布不均,可能2003年的订单有100W,2008年的有500W。
(2)hash取模分: 对user_id进行hash(或者如果user_id是数值型的话直接使用user_id的值也可),然后用一个特定的数字,比如应用中需要将一个数据库切分成4个数据库的话,我们就用4这个数字对user_id的hash值进行取模运算,也就是user_id%4,这样的话每次运算就有四种可能:结果为1的时候对应DB1;结果为2的时候对应DB2;结果为3的时候对应DB3;结果为0的时候对应DB4,这样一来就非常均匀的将数据分配到4个DB中。
优点:数据分布均匀
缺点:数据迁移的时候麻烦;不能按照机器性能分摊数据 。
(3)在认证库中保存数据库配置
就是建立一个DB,这个DB单独保存user_id到DB的映射关系,每次访问数据库的时候都要先查询一次这个数据库,以得到具体的DB信息,然后才能进行我们需要的查询操作。
优点:灵活性强,一对一关系
缺点:每次查询之前都要多一次查询,会造成一定的性能损失。
上文详细为大家介绍了数据库大型应用解决方案,希望大家都能很熟练的掌握,相信在大家以后的工作中遇到类似的问题,一定能够轻松解决。
【编辑推荐】
发表评论
-
SQL查询顺序处理
2011-09-15 11:29 1637select的解析执行顺序1. from语句 2. where ... -
概念模型、逻辑模型、物理模型区别
2011-09-08 10:48 1244http://wenku.baidu.com/view/9a6 ... -
规范化-数据库设计原则
2011-09-07 10:41 1460简介: 关系数据库设计的核心问题是关系模型的设计。本文将结合具 ... -
数据库设计准则(第一、第二、第三范式说明)
2011-09-07 10:17 1286I、关系数据库设计范式 ... -
oracle日志文件及归档日志模式
2011-09-01 10:18 1763oracle数据库中分为联机日志文件和归档日志文件两种日志文件 ... -
Oracle重做日志管理
2011-09-01 09:50 1440Oracle重做日志操作是为了记录数据的改变,提供数据库 ... -
Oracle复制技术的分布式系统同步应用
2011-08-28 17:41 1295本文将结合一个实际案例,讲解Oracle复制技术在分布 ... -
oracle数据同步
2011-08-28 14:34 1001首先创建一个 dblink(dat ... -
Oracle 流复制(Stream Replication)
2011-07-20 10:37 5631Stream 是Oracle 的消息队列( ... -
表分区
2011-06-30 09:21 1681分区表: 当表中的数据量不断增大,查询数据的速度就会变慢,应用 ... -
oracle_SQL中ROWID与ROWNUM的使用
2011-06-16 10:51 1430对于 Oracle 的 rownum 问题,很多资料都说不支持 ... -
oracle函数手册
2011-06-08 09:22 1190SQL中的单记录函数1.ASCII ... -
oracle基础文档
2011-06-03 09:10 1246oracle基础文档 -
ORACLE 找回误删的数据库
2011-06-02 14:14 1375同事找回时操作的数据库为oracle 10g , 之前删除方式 ... -
为什么Oracle有时会用索引来查找数据?--强制Oracle使用最优的“执行计划”
2011-06-01 09:04 1746[摘要] 在你运用SQL语言,向数据库发布一条查询语句时,O ... -
sql编程规范与性能
2011-05-31 08:40 1280sql编程规范与性能 -
Nested Loops Join(嵌套连接)
2011-04-13 16:21 11588说明:最近找到了一个 ... -
如何看Oracle执行计划
2011-01-14 15:43 2189oracle执行计划解释 ... -
oracle中分析sql语句执行计划的方法
2011-01-14 15:36 2233如何生成explain plan? 解答:运行utl ... -
oracle sql 语句(二)
2010-12-10 09:17 145027建立序列:(注意,这里并没有出现说是哪个表里面的序列 ...
相关推荐
【数据库大型应用解决方案总结】 随着互联网应用的飞速发展,数据库面临着前所未有的挑战。每天处理百万级乃至上亿的页面浏览量(PV)使得数据库承受着巨大的负载,这对系统的稳定性和扩展性提出了严峻考验。为了...
【SQLServer数据库大型应用解决方案】 随着互联网业务的快速发展,数据量呈爆炸式增长,数据库作为存储和处理这些数据的核心组件,面临着巨大的挑战。SQLServer作为一款广泛应用的关系型数据库管理系统,对于处理...
在面对大型应用中sqlserver数据库的挑战时,主要的问题在于如何处理海量数据的存储和访问,以及如何保证系统的稳定性和扩展性。本文主要探讨了两种解决方案:负载均衡技术和数据库的读写分离。 首先,负载均衡技术...
总结,Oracle数据库应用管理解决方案涵盖了从安装配置到性能优化,从数据安全到故障处理的全方位管理。通过深入理解这些知识点,数据库管理员能够更有效地管理和维护Oracle数据库,确保企业的数据服务始终处于最佳...
总结来说,安华金和的"数据库安全防护解决方案"提供了一套全面的策略,不仅关注技术层面的安全防护,同时也重视数据安全治理和合规要求,旨在为企业构建起坚实的数据安全防线,保障数据资产的安全使用。
对于一个大型的互联网应用,每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。 一、负载均衡技术 负载均衡集群是由一组相互独立的计算机系统构成,通过常规...
在“Oracle数据库应用管理解决方案”中,我们主要关注以下几个关键知识点: 1. 数据库架构:Oracle数据库采用分布式数据库系统架构,支持多用户、多任务并行处理,提供网络计算环境下的数据共享。它包括物理结构...
【SQLServer数据库大型应用解决方案经验总结】 随着互联网应用的飞速发展,大型互联网应用面临着每日数百万乃至上亿的页面浏览量(PV),这给数据库带来了巨大的负载,对系统的稳定性和扩展性提出了严峻挑战。为了...
大型数据库设计方案是指为了解决大型互联网应用中的海量数据存储和访问问题所采用的解决方案。该方案主要涉及到分布式数据库设计、负载均衡技术、数据库读写分离等方面。 一、负载均衡技术 负载均衡技术是指通过将...
### 大型网站应用之海量数据和高并发解决方案 #### 一、网站应用背景 随着互联网的迅猛发展,用户数量激增,对于网站而言,如何高效处理海量数据及应对高并发访问成为了关键技术挑战之一。在初期阶段,一个简单的...
图数据库提供了多种解决方案,例如社交网络金融风控、物流、电商等行业的应用解决方案。图数据库能够提供实时的用户行为检测,识别敏感用户,及时识别欺诈风险,错综复杂的人物关系分析,进行用户分群,识别异常群体...
此外,NetApp的解决方案还支持向上扩展和向外扩展,以满足企业对TB级大型SQL Server数据库的需求,并通过整合SQL Server数据和删除未使用的存储空间来降低总体成本。 NetApp的解决方案还具有自动化数据管理功能,能...
本文主要讨论了几种主流的关系型数据库——Oracle、MySQL以及PostgreSQL在数据解决方案上的特点和策略。 首先,Oracle数据库是企业级数据库的代表,其11gR2版本占据了市场的主导地位。Oracle Data Guard是Oracle...
传统的数据库系统如Oracle、DB2、SQL Server、MySQL和PostgreSQL是企业常用的数据库产品,而分布式数据库如Google的Spanner、BigTable、MegaStore、OceanBase和HBase为现代互联网应用提供了可扩展的数据存储解决方案...
数据库安全审计是保护企业核心资产的关键措施,针对日益复杂的数据安全威胁,数据库安全审计解决方案扮演着至关重要的角色。本文将详细解析数据库安全审计的需求、IBM的Guardium解决方案以及其主要特点和优势。 ...
在本实验中,我们将深入探讨“数据库大型实验”,这是一个基于Asp网页应用的项目,旨在帮助学生和开发者更好地理解和实践数据库管理和Web开发技术。实验涵盖了数据库设计、SQL查询以及Asp编程等多个关键知识点,同时...
### SnapAudit数据库审计软件解决方案知识点解析 #### 一、数据库审计的重要性 - **数据库的战略价值**:企业数据库中存储着客户信息、经营信息等关键数据,这些数据是企业的核心资产。 - **面临的挑战**: - 无...
在IT领域,数据库应用系统的开发是一项核心技能,尤其是在企业级软件解决方案中。本文将深入探讨如何使用C#语言开发数据库应用系统,同时结合北大青鸟的教育理念与实践,为学习者提供详尽的知识点。 首先,C#是微软...