这个是目前公司某产品Server端MySql分布式架构总结(内容总结自wiki),该产品同时使用了Mysql和MongoDB。
本篇Blog只做Mysql分布式架构的介绍。
----------------------------------------------------
一、共4台Linux服务器A\B\C\D
A master with slave B
C master with slave D
每台机器都启动8个mysql实例,由mysqld_multi管理(每台机器使用端口3301-3308)。
注:单机启动多个mysql的好处是(引用网上其它资料)
1、充分利用单机的计算能力。
2、可以有效的分配不同的逻辑到不同的mysql提高数据库并行处理能力。
3、单机也可以方便的实现主从备份。
二、部署Amoeba
1、Amoeba将在C和D部署两个配置完全相同的实例,可以互为failover(故障切换).但Amoeba本身不会检查另一个amoeba的生存状态。
2、Amoeba占用8066端口,应用可以把Amoeba当作虚拟mysql访问。
部分表的访问,会根据userId进行水平分区,并根据是读是写做读写分离。
账号设备表永远访问A0实例(即A机3301端口的实例)。
同时,不支持shard的命令会分发到default数据库,目前设置为A0。
3、Amoeba支持配置自动加载,但是加载顺序等有一定问题,建议重启amoeba。
4、目前读请求是分发到虚拟读节点,将会2/3的概率分到对应的slave,1/3分到master。Amoeba支持虚拟节点中的真实节点的failover和故障检测。
5、在对shard表(水平分区)进行操作时,使用mysql console可以像使用正常mysql一样进行普通读写操作,但是对于一些特殊操作可能会有问题。如:
(1)select … where accountId in()会出错;
(2)select count * 如果where子句中没有对accountId指定唯一值,会返回多个列;
(3)update,delete指令没有指定唯一accountId,会返回多列的结果等;
(4)另外所有transaction(事务)命令都不予支持,会转发到default数据库上去。
6、用户账号系统的数据库直接放在了A0上(垂直扩展?)。
不断更新中...
分享到:
相关推荐
03-mysql主从复制介绍及分布式数据库架构实现介绍.avi 04-主从同步的应用场景及切换从库不丢数据多方案介绍.avi 05-mysql数据库读写分离介绍及企业生产实现方案.avi 06-根据企业业务拆分业务应用到不同的从库思想....
- 分布式架构,易于水平扩展。 #### 5. 高并发高可用架构设计 - **设计原则**: - 采用负载均衡。 - 异步处理。 - 读写分离。 - **限流**: - 使用令牌桶算法或漏桶算法限制请求速率。 - **缓存使用**: - 二级...
以某小型装备公司为例,生产过程中的主要因素包括人员、设备、材料、工艺和环境,这些要素是分析和改善生产效率的关键。系统需求分析还包括实时性和分析后数据的展示,例如产能利用率等指标。 知识点三:B/S架构的...
- 提升公司的品牌形象,让更多潜在用户了解该游戏公司及其产品。 - 采用B/S架构,确保系统的易用性和可扩展性。 #### 技术选型 - **前端技术**:使用JSP(Java Server Pages)作为前端技术框架,能够快速构建...
此外,还提供了项目经验,如某汽车品牌4S店保养管理系统项目,作为Java开发工程师,参与了技术架构新建与改造,完成了产品技术评审,实施技术策略,通过特定技术语言开发多个模块,最终实现了系统目标,为多家4S店...
- 引领架构改造,包括前端定制ERTERM,后台使用OSGI服务,前后台通过MQ进行访问,后台服务基于JCF(自研)分布式服务架构。 - 掌握Fortran语言,用于业务层面的开发迁移,并使用Spring+JDBC,系统交互依赖MQ。 - ...
### 大数据处理技术的关键知识点总结与分析 #### 一、大数据处理的需求分类及特点 ##### 1. 事务型处理 事务型处理是大数据处理中最常见的类型之一,广泛应用于电子商务、交通出行、零售等行业。这类处理的特点...
- 在北京某互联网科技有限公司担任Java技术经理,2011.06至今,税前月薪15k-20k。 - 在此职位中,张三作为Java及中台负责人,负责了XXX App的整体开发和管理协调,展现了强大的技术和管理能力。 4. **技术能力**...
#### Mycat在某知名证券公司的案例经验 ##### 案例背景 该证券公司面临着系统升级的需求,原有的Oracle数据库已经无法满足日益增长的业务需求。为了降低总体拥有成本(TCO)并提高系统的稳定性和可扩展性,该公司...
- 基于电商数据分析公司的需求,需定期抓取某大型电商平台上特定类别的商品信息,包括价格、销量、评价等,以支持市场动态分析和有效营销策略的制定。 - **需求分析** 1. **目标网站分析** - 明确目标电商平台的...
- **技术能力**:具备处理分布式、高并发、高可用、大数据量系统的架构设计与研发能力。 - **项目规模**:当前负责的日活跃用户超过三百万、日访问量超过一亿次的社区电商平台架构设计与研发工作。 - **开源框架研究...
天云星数据库(简称:SCSDB)是由深圳市汉云科技有限公司自主研发的国产分布式数据库系统,专门针对海量数据的存储、查询分析及挖掘。这款数据库系统的设计初衷是为了弥补传统分布式非关系型数据库在关系查询上的...
它通过提供一种 SQL 类似的查询语言 HQL,使得用户能够轻松地对存储在 Hadoop 分布式文件系统 (HDFS) 中的数据进行复杂的查询操作。Hive 的设计初衷是为了简化海量结构化日志数据的统计问题,它支持数据抽取 ...
1.设计模式更抽象,J2EE 是具体的产品代码,我们可以接触到,而设计模式在对每个应用时才会产生具体代码。 2.设计模式是比 J2EE 等框架软件更小的体系结构,J2EE 中许多具体程序都是应用设计模式来完成的,当你深入...