阅读原文请点击:
http://click.aliyun.com/m/23415/
摘要: 袋鼠学院和优云、阿里云联合举办的沙龙结束之后,总是有小伙伴们来问PPT内容,想要进一步了解Topic内容。(哦,对了对了,竟然还有小伙伴专门冲着袋鼠云去听沙龙,感动cry~~) 千呼万唤,忙成狗的袋鼠小妹终于把沙龙总结整理了出来(⊙o⊙) 本次沙龙的主题是“云时代下的运维管理实践”,受邀请的演讲嘉宾,花名宏翊(经常关注袋鼠云的同学,肯定已经对这个名字很熟悉了),是袋鼠云首席数据库架构师,袋鼠学院数据库讲师。
袋鼠学院和优云、阿里云联合举办的沙龙结束之后,总是有小伙伴们来问PPT内容,想要进一步了解Topic内容。(哦,对了对了,竟然还有小伙伴专门冲着袋鼠云去听沙龙,感动cry~~)
千呼万唤,忙成狗的袋鼠小妹终于把沙龙总结整理了出来(⊙o⊙)
本次沙龙的主题是“云时代下的运维管理实践”,受邀请的演讲嘉宾,花名宏翊(经常关注袋鼠云的同学,肯定已经对这个名字很熟悉了),是袋鼠云首席数据库架构师,袋鼠学院数据库讲师。
呼应沙龙运维实践的主题,结合自己的专长领域,宏翊主要是从数据库领域来谈云时代下的运维管理该如何做,主题为“如何实现高容量大并发数据库服务?之数据库分布式架构设计”。
640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
为什么数据库需要做分布式架构设计?在对数据库进行拆分设计和实施时,会遇到哪些坑?又该如何避免踩坑?
袋鼠小妹结合宏翊的PPT和现场演讲,整理内容如下,希望和大家一起分享、探讨。
摘要
数据库拆分要根据业务现状、模式,选择合适的拆分方式,紧密结合业务及应用架构设计,谨慎拆分,防止过度设计。
正文
一 为什么要做分布式数据库架构改造?
云计算大数据时代,传统的数据库架构已经无法支撑企业高容量的数据增长,满足高并发的业务需求。对企业数据库进行分布式架构设计,打破了数据库资源不够用的天花板的同时,还能根据企业业务发展状况,随时平滑扩容。
二 分布式数据库架构改造,如何做?
数据库分布式改造要遵循“循序渐进”的拆分原则
拆分方式有垂直拆分和水平拆分两种,选择拆分方式要根据企业自身业务发展需要。
640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
一般来说,是先做垂直拆分,再做水平拆分。
在单一数据节点无法满足业务和用户增长需求的情况下,需要做一个服务化,对业务进行垂直梳理,后面的数据节点可以放在不同的资源节点上,以提高数据服务的整体性能。
比如一个APP的业务数据,在业务初期阶段,是全部放在一个数据库节点中,在业务量和数据量快速增长的中期阶段,需要进行垂直梳理,根据业务逻辑,拆分成商品、交易、用户,并分别放在不同的数据库。
如果其中的一个服务已经拆的很细了,但还是有性能瓶颈,无法支撑我们的业务增长,数据库这块才需要再做水平拆分。
水平拆分就是将数据(比如图中APP的交易数据)拆成多片,放到不同的资源上,用一个集群来支撑更高的业务增长。
在拆分时,要谨慎,因为拆分会引入复杂性,能不做就不做,最优先是做业务和架构上的优化,最终才是做数据库拆分。
在拆分的过程中,不要做过度的设计,或者直接从初级跳到高级,这样做其实非常浪费资源,投入产出比也不好。
三 水平拆分的难点及解决方案
对企业数据库进行分布式改造,需要理解客户的业务逻辑、丰富的拆分经验积累。尤其是水平拆分,有系统复杂度高、技术挑战性强、稳定性控制难、具有一定局限性四大难点。
针对这些问题,宏翊给我们提供了两种解决方案。
客户端实现数据路由
此方案不会引入额外的组件,架构上比较轻量,简单场景使用尚可,但稍复杂的场景会放大它的劣势,比如配置管理复杂等。
640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
数据库中间件
中间件的使用最大限度地屏蔽了分布式数据库所引入的复杂性,极大降低了研发的门槛。最重要的是,有了数据库中间件,应用看到的还是单一的数据库。
640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
四 水平切分原理及设计原则
要对一个表做拆分,选择一个拆分字段,通过一个路由算法确定数据存放在哪个底层库。
比如下列数据选择MEMBE_ID作为拆分键,通过路由算法计算后得出’test1234‘相关的数据应该落在库1上,DRDS会把所有MEMBE_ID=‘test1234’相关的请求全都路由到库1。其他数据请求亦落到相应的底层库。
640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
接下来,当数据已经放下去了,应该如何去查询、访问和变更?
比如要查询一条记录,member_id=‘test1234’
它怎么去执行的呢?
首先计算一个hash值,当值等于某一个值,它会知道这个数据存储在哪一个库上,所以会直接路由到底层这个库,从这个库查询,返回结果。
中间件扮演的就是这个路由和计算的角色,性能非常强大。拆分后,各底层数据库数据量比较小,查询返回比较快;二是可以支持更高的并发,整体并发基本等于两个底层数据库实例并发之和。
阅读原文请点击:
http://click.aliyun.com/m/23415/
分享到:
相关推荐
基于SSM框架的婚庆公司平台项目,分为门户模块和后台管理模块两个部分,主要涉及到权限管理和RBAC数据库设计。.zip项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
基于单片机protues仿真的智能电饭锅(仿真图、源代码) 该设计为基于单片机protues仿真的智能电饭锅,实现电饭锅功能; 1、系统使用51单片机为核心设计; 2、数码管显示温度、时间等; 3、市电供电,通过继电器切换和电热丝模拟; 4、按键设置和切换;
基于MATLAB的永磁同步电机(PMSM)磁场定向控制仿真模型研究:非线性系统分析与参考文献分享,基于MATLAB的永磁同步电机(PMSM)磁场定向控制仿真模型研究:非线性系统分析与参考文献分享,基于matlab的永磁同步电机(PMSM),磁场定向控制仿真模型。 永磁同步电机(PMSM)是一个非线性系统,具有多变量、强耦合的特点。 可提供参考文献 ,基于Matlab的PMSM; 磁场定向控制仿真模型; 非线性系统; 多变量系统; 强耦合。,基于MATLAB的PMSM磁场定向控制仿真模型研究
项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行,功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
商品管理系统,使用ssm框架开发,包括用户注册及校验、邮箱激活、对商品信息的增删改查等,并实现了高德地图接口进行定位和支付宝接口(通过沙箱测试)。.zip项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行,功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
内容概要:本文档主要介绍了企业在进行大数据治理过程中构建统一指标库的方法、背景及其实现路径。文档首先阐述了数据治理的必要性和现状中存在的挑战,然后具体讲述了统一指标库的概念、建设目标和背景、以及具体实现的功能和技术路线。接着展示了统一指标库的核心功能包括需求管理、数据全生命周期管理、血缘关系管理、指标数据的高效利用及可视化等。此外还涉及如何在多个层面实现数据的集成和分析,确保数据质量和口径的一致性,最终提升企业的决策能力和管理水平。 适用人群:本文档适用于负责企业信息化建设、数据分析与治理的高级管理人员及技术人员。 使用场景及目标:主要应用于需要规范和完善数据治理体系的企业机构中,目的是帮助解决当前普遍存在的数据孤岛现象,以及由此引发的各种管理难题。同时,也适用于希望通过引入先进的技术和管理方法,增强自身的竞争力和服务水平的相关单位。 其他说明:通过统一的指标管理系统实现了不同业务部门间数据共享的目标,提高了工作效率,减少了冗余劳动。另外,通过案例研究表明,在实际应用中有显著成效,能够为企业节约大量时间和成本。
项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
内容概要:本文详细介绍了关于MySQL的各种优化措施和技术手段,旨在帮助开发者更好地理解和掌握MySQL优化技能。涵盖了从SQL语句层面(比如索引优化、查询重构)、数据库系统配置参数调节(例如 innodb_buffer_pool_size、max_connections)、以及外部应用缓存(如Redis的使用),还提到分区表、规范化和反规范化理论及其实际运用方法等,以求最大程度地挖掘MySQL性能潜力,提供高效的解决方案来应对实际项目遇到的问题。 适用人群:主要面向从事互联网及相关行业工作的数据库管理员(DBA),软件工程师尤其是关注后端系统的架构师或者程序员群体。 使用场景及目标:适用于想要提升MySQL读写效能的企业级Web应用、大数据处理平台以及其他需要高频次读写的业务逻辑环境。同时,文中提供的技巧有助于构建稳定可靠的数据服务平台,在线事务处理(OLTP)应用程序的性能优化方面也有着积极的作用。
项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
GS-DHR协同数字化人力资源管理系统白皮书 V8.1(1).ppt
基于SSH的网上购物系统。系统分为前台和后台,主要实现商品分类、商品浏览、加入购物车和生成订单以及网上支付等功能。.zip项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行,功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
使用DeepSeek写的手机H5贪吃蛇小游戏
VideoDownloadHelper 无120分钟时间限制-高级版
项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
Pyecharts炫酷散点图构建指南.md
基于单片机protues仿真的智能饮水机设计带浑浊度+温度显示(仿真图、源代码) 具体实现功能: 1.浑浊度、温度检测并在液晶上显示相应数据; 2. 通过调滑动变阻器大小可以修改浑浊度的实时检测情况; 3. 通过调节DS18B20温度传感器模块上的“+””-“按钮可以改变温度;温度数据的正确与否观察模块上的数据同LCD液晶是否一致; 4.定时提醒功能:按设置键三下进入定时提醒设置,设置好时间后;DS1302模块根据实时显示的时钟情况与闹钟相比较,一致则定时提醒信号灯亮2s; 5.触控传感:用按键模拟,当按键按下,自动出水信号灯亮,松开则暗。
项目工程资源经过严格测试运行并且功能上ok,可实现复现复刻,拿到资料包后可实现复现出一样的项目,本人系统开发经验充足(全栈全领域),有任何使用问题欢迎随时与我联系,我会抽时间努力为您解惑,提供帮助 【资源内容】:包含源码+工程文件+说明等。答辩评审平均分达到96分,放心下载使用!可实现复现;设计报告也可借鉴此项目;该资源内项目代码都经过测试运行;功能ok 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 【提供帮助】:有任何使用上的问题欢迎随时与我联系,抽时间努力解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 下载后请首先打开说明文件(如有);整理时不同项目所包含资源内容不同;项目工程可实现复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用
基于ThinkPHP6.0开发的微信公众号多域名回调源码 模板Ver:1.0.0。 有如下功能: 微信公众号多域名回调功能:微信公众号后台默认只能授权2个网页域名,用本系统突破这个限制,用同一个公众号对接无限多个网站。网站后台支持回调域名白名单的管理,以及登录记录的查看。 微信access_token获取功能:可让本系统作为中控服务器统一获取和刷新access_token,其他业务逻辑站点所使用的access_token均调用当前站点获取,这样可避免各自刷新造成冲突,导致access_token覆盖而影响业务。 微信消息事件转发功能:微信公众平台/企业微信的服务器设置只能填写1个url,用本系统可以同时转发给多个url。如用户关注事件、用户发送的消息等,可以同时发送给多个服务器站点。 支付宝开放平台多域名回调功能:每个支付宝开发平台应用只能配置1个授权回调域名,用本系统突破这个限制,可同时在多个网站使用同一个支付宝开放平台应用。 源码内附详细部署教程。
LM Studio 0.3.6
基于Matlab Simulink的光伏逆变器仿真建模:HERIC拓扑的DC-AC转换研究,基于Matlab Simulink的HERIC光伏逆变器仿真建模:光伏电池驱动下的DC-AC转换研究,Simulink仿真:基于Matlab Simulink的HERIC光伏逆变器仿真建模 关键词:光伏电池 Matlab Simulink 仿真建模 参考文献:自建实验文档(数据和图可直接使用) 仿真平台:MATLAB Simulink 主要内容:本文基于Matlab Simulink搭建了一个使用光伏电池作为电源的HERIC型光伏逆变器拓扑,利用正弦波和三角波驱动MOSFET开关管,成功将DC转为AC。 ,光伏电池; Matlab Simulink; 仿真建模; HERIC光伏逆变器; 正弦波; 三角波; MOSFET开关管; DC转换AC。,基于Matlab Simulink的HERIC光伏逆变器仿真建模及其实验验证研究