`
shuofenglxy
  • 浏览: 195311 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据同步方案思考

阅读更多

Yahoo的PNUTS的数据同步:

基于行的Mastership;通过YMB(yahoo message broker)去以异步方式同步那些replicas数据。首先,应用更新请求到达router,router根据key映射到某一个storeunit,storeunit去向YMB发送数据更新消息,YMB做到安全保存数据(可能是互备消息),然后响应storeunit;这时候写入数据,然后向router返回响应,然后向应用发送响应。同步时机有YMB控制,估计最终一致时间差不会很大。

这里比较有特色的是利用了YMB代替了undo,redo log去做数据的恢复和同步。,

Amazon的Dynamo的数据同步:

基于NWR模型去完成数据同步。N指系统的数据备份数目,W指写的数目,R指读的数据份数。要求W+R>N,即写的分数要大于系统的备份份数-读的份数。也就是每一次读至少都会读到一个更新版本。这个缺点在于并发写同一数据多时,版本冲突问题,Dynamo通过vector clock去解决(大致可以采用返回版本有app自己设置解决,或者简单的最后修改时间胜出)。

其他的数据同步方案有:

Master/slave结构中的,写master,然后通过log去同步slaves的数据。

Master/Master,写一个同步另一个。

同时全写(也就是同步写方案)。

 

分享到:
评论

相关推荐

    金融行业MySQL数据库高可用方案的思考.pdf

    "金融行业MySQL数据库高可用方案的思考" MySQL数据库是金融行业中最流行的开源数据库解决方案之一,如何实现高可用性是金融行业的主要关注点。MySQL数据库的高可用性方案可以分为三种:主从复制方案、半同步复制...

    袋鼠云数据智能解决方案.pdf

    在技术实施方面,数据中台解决方案强调与业务数据库(如ERP、CRM)的集成,通过数据源、数据同步、数据开发、数据集成等环节,实现数据的全面管理和智能化处理。此外,解决方案也提供了对外部数据的爬虫和数据埋点等...

    HC1309144 基于Linux平台的数据迁移方案 v1.0.pptx

    ### HC1309144 基于Linux平台的数据迁移方案 v1.0 #### 知识点概述 本文档旨在介绍一种基于Linux平台的数据迁移方案,并详细阐述了该方案的规划、实施以及验证过程。对于希望了解或执行此类数据迁移任务的技术人员...

    在Delphi中利用多线程实现数据采集的方法.doc

    3. **同步机制**:为了保证线程间的正确通信,Delphi提供了多种同步机制,如`Synchronize`函数用于在线程之间安全地传递数据和执行操作。 ##### 具体实例分析 1. **实例背景**:本实例旨在演示如何使用多线程技术...

    数据中台的深度思考与总结.docx

    本文将深入探讨数据中台的核心功能、工具和技术方案。 首先,数据汇聚是数据中台的基础,涉及到从不同网络和数据源收集数据。常用的方法包括数据库同步(如Canal、DataX、Sqoop)、埋点、网络爬虫和消息队列。数据...

    ClickHouse在腾讯音乐敏捷数据分析中的实践和思考.pdf

    此外,腾讯音乐还利用Spark进行离线数据同步到ClickHouse,通过水平扩展(HPA)实现弹性伸缩,以应对实时OLAP需求的增长。同时,他们密切关注同步状态监控,确保数据的一致性和完整性。 总的来说,腾讯音乐通过...

    从零开始的Devops-通用服务平台解决方案思考.docx

    ### 从零开始的DevOps:通用服务平台解决方案思考 #### 分析我们的业务需求与挑战 在构建业务平台的过程中,面临的主要挑战是如何有效地管理和利用资源,特别是在多平台支持、功能复用以及系统集成等方面。具体来...

    两个开挂的Excel同步数据到Word技巧!(联动)-get√【会计实务文库首发】.pdf

    这个技巧主要用于将Excel表格复制到Word文档中,并保持两者之间的数据同步。步骤如下: - 首先,在Excel中准备好你要同步的数据。 - 然后,选中需要的Excel表格,使用快捷键Ctrl+C进行复制。 - 打开Word文档,...

    中国电信在线计费系统(OCS)总体技术方案V0.8.rar

    10.2. SID数据同步接口 44 10.3. 话单输出接口 45 10.4. 外部帐户接口 45 10.5. 实时查询接口 45 10.6. 运行维护接口 46 10.7. 通知接口 46 10.8. 准实时话单输入接口 46 11. 网络管理 48 11.1. 网管系统结构 48 ...

    简析大数据时代下的大学计算机基础教学同步改革方案.doc

    因此,大学计算机基础教学必须进行同步改革,以适应时代的需求。 首先,教材内容的改革是教学改革的首要任务。大数据相关的专业方向模块应当被引入到现有教材中,这不仅能够帮助学生理解自己专业的未来发展趋势,还...

    设计方案含异步清零和同步时钟使能的加法计数器.docx

    【设计方案含异步清零和同步时钟使能的加法计数器】 该文档描述了一个基于EDA技术的实验设计,旨在实现一个4位加法计数器,它具有异步清零和同步时钟使能功能。这个计数器在EN信号为高时工作,当ENA为'1'时,计数器...

    多媒体环境下“试验设计与数据处理”课程教学的思考.pdf

    【多媒体环境下“试验设计与数据处理”课程教学的思考】 在当前的科技信息时代,多媒体环境下的教学方式已经成为教育领域的重要趋势。以“试验设计与数据处理”课程为例,利用多媒体技术进行教学,能够有效克服传统...

    关于《数据结构》教学的思考 (1).pdf

    在教学实践中,涂晓红和胡方霞两位教师分享了他们对于如何教授这门课程的一些思考和改进措施。 首先,课程内容涵盖了包括数组、链接表、栈和队列、递归、树与森林、图、堆与优先级队列、集合与搜索结构、排序、索引...

    典型同步问题模拟处理编程设计与实现.zip

    以下是一些典型的同步问题及其解决方案: 1. **哲学家就餐问题**:由Dijkstra提出的经典问题,五个哲学家围坐在一张圆桌旁,每人面前有一根筷子。他们同时思考和吃饭,但不能同时拿起左右两边的筷子。这个问题展示...

    2023.09-2024.09期间《天翼云高级解决方案架构师参考题库》

    4. 主备数据库部署方案中,主中心负责读写操作,备中心仅同步主中心的数据,不提供读功能,以保持数据一致性和高可用性。 5. 使用负载均衡ELB来处理4层TCP协议时,可以通过TOA插件获取用户真实IP,实现应用层的弹性...

    最新云平台和数据库平台迁移方案合集(21份).zip

    千亿级数据迁移和同步平台的架构实践 无感平滑迁移:海量高并发数据库国产化改造及应用 业务迁移基本流程设计与华为迁移方案概述 银行数据库改造之路:Oracle to MySQL迁移实践 用基础设施即代码自动化架构迁移 云...

    进程同步模拟设计--哲学家就餐问题

    在计算机科学领域,进程同步是多线程编程中的一个核心概念,它涉及到多个并发执行的进程之间如何协调工作,确保数据的一致性和避免资源竞争。哲学家就餐问题(Dining Philosophers Problem)是由计算机科学家 Edsger...

    本地学习问题重新思考联邦学习中的数据异构性_Local Learning Matters Rethinking Data Het

    针对这一问题,本文《本地学习问题重新思考联邦学习中的数据异构性》提出了一种新的视角,即关注本地学习的普适性而非仅依赖于全局模型的约束。研究发现,标准的正则化方法在减轻数据异构性影响方面表现得相当出色。...

Global site tag (gtag.js) - Google Analytics