- 浏览: 496328 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (502)
- Java (70)
- Linux (10)
- 数据库 (38)
- 网络 (10)
- WEB (13)
- JSP (4)
- 互联网 (71)
- JavaScript (30)
- Spring MVC (19)
- HTML (13)
- CSS (3)
- AngularJS (18)
- Redis (5)
- Bootstrap CSS (1)
- ZooKeeper (4)
- kafka (6)
- 服务器缓存 (4)
- Storm (1)
- MongoDB (9)
- Spring boot (16)
- log4j (2)
- maven (3)
- nginx (5)
- Tomcat (2)
- Eclipse (4)
- Swagger (2)
- Netty (5)
- Dubbo (1)
- Docker (7)
- Hadoop (12)
- OAuth (1)
- webSocket (4)
- 服务器性能 (7)
- Session共享 (1)
- tieye修改 (1)
- 工作 (1)
- 有用的语录 (0)
- https (2)
- common (5)
- 产品开发管理 (1)
- CDN 工作原理 (1)
- APNS、GCM (1)
- 架构图 (3)
- 功能实现分析 (1)
- JMX (1)
- 服务器相关操作命令 (1)
- img02 (0)
- 服务器环境搭建 (9)
- goodMenuBook (1)
- CEInstantPot (0)
- 有用数据 (1)
- 百度地图WEB API (2)
- 正则表达式 (1)
- 样式例子 (2)
- staticRecipePressureCooker.zip (1)
- jCanvas (1)
- 网站攻击方法原理 (1)
- 架构设计 (3)
- 物联网相关 (3)
- 研发管理 (7)
- 技术需求点 (1)
- 计划 (1)
- spring cloud (11)
- 服务器开发的一些实用工具和方法 (1)
- 每天学到的技术点 (4)
- Guava (1)
- ERP 技术注意要点 (2)
- 微信小程序 (1)
- FineRepor (1)
- 收藏夹 (1)
- temp (5)
- 服务架构 (4)
- 任职资格方案 (0)
- osno_test (1)
- jquery相关 (3)
- mybatis (4)
- ueditor (1)
- VueJS (7)
- python (10)
- Spring EL (1)
- shiro (1)
- 前端开发原理与使用 (7)
- YARN (1)
- Spark (1)
- Hbase (2)
- Pig (2)
- 机器学习 (30)
- matplotlib (1)
- OpenCV (17)
- Hystrix (1)
- 公司 (1)
- miniui (4)
- 前端功能实现 (3)
- 前端插件 (1)
- 钉钉开发 (2)
- Jenkins (1)
- elasticSearch使用 (2)
- 技术规范 (4)
- 技术实现原理 (0)
最新评论
数据库沉余实现方式
canal
原理相对比较简单:
(1)canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议
(2)mysql master收到dump请求,开始推送binary log给slave(也就是canal)
(3)canal解析binary log对象(原始为byte流)
基于日志增量订阅&消费支持的业务:
(1)数据库镜像
(2)数据库实时备份
(3)多级索引 (卖家和买家各自分库索引)
(4)search build
(5)业务cache刷新
(6)价格变化等重要业务消息
Canal 高可用
Canal 服务端中的实例可以配置一个备用 MySQL,从而能够在双 Master 场景下自动选择正在工作的数据源。注意两台主库都需要打开 log_slave_updates 选项。Canal 会使用自己的心跳机制(定期更新辅助表的记录)来检测主库的存活。
Canal 自身也有 HA 配置,配合 Zookeeper,我们可以开启多个 Canal 服务端,当某台服务器宕机时,客户端可以从 ZK 中获取新的服务端地址,继续进行消费。更多信息可以参考 Canal AdminGuide。
https://blog.csdn.net/zjerryj/article/details/77152226(使用 Binlog 和 Canal 从 MySQL 抽取数据)
Ottter是由阿里爸爸开源的一个数据同步产品,它的最初的目的是为了解决跨国异地机房双A架构,两边可写的场景,
http://www.cnblogs.com/zhangtianshi/articles/9140231.html(使用canal通过mysql的binlog日志对mysql进行监控)
http://agapple.iteye.com/blog/1796633(关于使用Binlog和canal来对MySQL的数据写入进行监控)
canal
原理相对比较简单:
(1)canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议
(2)mysql master收到dump请求,开始推送binary log给slave(也就是canal)
(3)canal解析binary log对象(原始为byte流)
基于日志增量订阅&消费支持的业务:
(1)数据库镜像
(2)数据库实时备份
(3)多级索引 (卖家和买家各自分库索引)
(4)search build
(5)业务cache刷新
(6)价格变化等重要业务消息
Canal 高可用
Canal 服务端中的实例可以配置一个备用 MySQL,从而能够在双 Master 场景下自动选择正在工作的数据源。注意两台主库都需要打开 log_slave_updates 选项。Canal 会使用自己的心跳机制(定期更新辅助表的记录)来检测主库的存活。
Canal 自身也有 HA 配置,配合 Zookeeper,我们可以开启多个 Canal 服务端,当某台服务器宕机时,客户端可以从 ZK 中获取新的服务端地址,继续进行消费。更多信息可以参考 Canal AdminGuide。
https://blog.csdn.net/zjerryj/article/details/77152226(使用 Binlog 和 Canal 从 MySQL 抽取数据)
Ottter是由阿里爸爸开源的一个数据同步产品,它的最初的目的是为了解决跨国异地机房双A架构,两边可写的场景,
http://www.cnblogs.com/zhangtianshi/articles/9140231.html(使用canal通过mysql的binlog日志对mysql进行监控)
http://agapple.iteye.com/blog/1796633(关于使用Binlog和canal来对MySQL的数据写入进行监控)
发表评论
-
SQL常用语句
2022-07-21 19:09 211delete from cacherefresh where ... -
ES数据同步方案
2022-06-24 10:57 2308//============================= ... -
选举算法
2022-06-17 08:48 427选举算法 常用的选举 ... -
elasticSearch使用
2022-04-27 08:42 416ElasticSearch 基于Apache Lucene构建 ... -
IDEA 快捷键
2022-03-02 16:55 245大小写转换快捷键 ctr+shift+u IDEA ... -
SQL存储过程例子和有用的SQL
2022-02-19 09:20 201delete from cacherefresh where ... -
zookeeper dubbo 安装
2021-12-04 19:27 315docker-machine ssh default d ... -
将博客搬至CSDN
2021-11-18 19:57 189将博客搬至CSDN -
docker mysql 主从安装
2021-11-10 16:55 235docker run -d -p 13306:3306 --n ... -
rocketmq安装部署.txt
2021-11-07 19:10 218docker search rocketmq docke ... -
百度人脸识别
2021-05-21 16:11 363package com.gaojinsoft.htwy.y20 ... -
springBoot tomcat配置参数说明
2021-05-12 09:13 3018#最大连接数 server.tomcat.max-connec ... -
技术选型
2021-01-29 17:34 2931.移动端组件vux,vant,vant好点,文档好的,基于v ... -
SQL优化对比与总结
2021-01-09 14:44 38019000000 b表 SELECT * from b w ... -
方便开发调试和问题跟踪
2021-01-01 10:17 2481.外网最好可以连接数据库 2.关键信息可以在接口返回信息, ... -
执行存储过程测试
2020-12-30 16:47 386--执行存储过程创建 if (exists (select * ... -
Jenkins脚本
2020-03-12 17:55 444#!/bin/bash -ilx echo "开始 ... -
base64与file 相互转换
2019-10-23 18:19 775base64与file 相互转换 import org. ... -
钉钉开发
2019-09-17 20:16 433钉钉开发 开发者帐号 1357047443 x***310* ... -
安卓模拟器使用
2019-07-03 23:13 4逍遥pc版的安卓模拟器 http://www.xyaz.cn/ ...
相关推荐
文件系统阶段的缺点是数据沉余性、数据不一致性和数据联系弱。 数据库技术的核心是数据模型。数据模型是指表示实体类型及实体间联系的模型。数据模型可以分为概念数据模型和结构数据模型。概念数据模型是独立于...
这些算法广泛应用于数据库管理、数据分析、图形渲染等各个领域。在本资料中,我们将深入探讨一种高效的排序算法——堆排序(HeapSort)。 **C语言** C语言是一种强大的、高效的编程语言,常用于系统编程、嵌入式...
这个分页技术提供历史最全面的通用分页技术,实现网上的所用的分页格式,里面的代码规范是很严格的还有这个项目去掉了STRUTS2的沉余代码。数据库提供了包括数据脚本。 分页功能:总页数(n页),当前页数(m/n), 首页...
例如,如果不想显示图片,可以通过设置“沉余内容”的开关来开启或关闭这一功能。这表明该插件具有一定的自定义性,可以根据管理员的需求进行个性化配置。 3. **多次调试**:描述中提到“多次调试下”,这意味着...
- 无沉余性:每行每列都有C或U。 12. 数据字典:记录数据库和应用系统元数据的总目录,解释数据流程图中的元素。 13. 外部实体:不受系统控制的独立对象,如供应商、客户,是系统输入输出的关键。 14. 系统设计...
ObjectARX是Autodesk公司提供的一套AutoCAD的软件开发工具包,允许开发者用C++语言直接访问AutoCAD的数据库、图形系统和命令。 3. 参数化设计的应用:参数化设计是CAD领域的一个重要技术,它允许设计师通过修改参数...
3. **车票预订**:用户选择合适的车次后,可以预订车票,系统会检查库存并处理订单,同时显示可选座位类型和余票情况。 4. **车票退订**:如果用户需要取消预订,系统允许退票操作,退款规则根据实际规定执行。 5....
传统的处理方式,如直接喂养牲畜或简单填埋,已不能满足当前环保要求。因此,开发高效、环保的餐厨垃圾预处理系统变得尤为重要。 1. **历史背景**:在过去,餐厨垃圾往往被直接用作养猪饲料,但由于缺乏有效的处理...