`
androidssh
  • 浏览: 114895 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

分布式系统数据同步解决方案

    博客分类:
  • java
阅读更多

     Web Service 现如今已经成为 SOA 实现标准之一。很多公司已经或者正在参与到 Web Service 项目的实现和部署中。Web Service 的优点在于松散的处理异构系统之间的通信和数据交换,可以随机应变的处理企业各个系统之间的整合问题,处理数据传输、数据同步问题。但是,Web Service 采用 XML 标准进行系统间的数据传输,加大了传输的数据量,尤其是在传输一些具有比较严格结构的数据时,会使得传输效率有所下降。所以,如何提高 Web Service 传输效率成为很多公司进行项目部署时非常关心的问题。用更好的技术方法解决传输效率也成为了很多技术人员梦寐以求的梦想。

    我们对于数据同步传输效率问题,做了很多深入的研究,自主研发出一套基于RMI(远程方法调用)的数据传输方法。对数据进行自定义包装。该方法对数据完整性,安全性等多个方面进行了严格控制。可以有效去除Web Service 包装成xml所带来的无效数据。极大地提高了传输效率。在有限的网络条件下,可选择性地采用tcp,udp等协议进行断点传输,具有非常快的传输速度。不受防火墙限制。缺点就是客户端、服务器端都必须对数据进行序列化。

分享到:
评论
9 楼 evanzzy 2011-06-26  
不用自己研发,用Hessian就行,直接支持10种语言的互相传输。如果都是Spring的基础框架,用Http Invoke效率是比较好的。

你说的是数据传输技术,不是同步解决方案,分布式的同步解决方案比较难弄的,建议通过数据库处理,或者想办法避开这个难题
8 楼 ppgunjack 2011-06-25  
bobotc 写道
ppgunjack 写道
这和分布式系统数据同步没多少联系,只是基于远程调用的数据传输
分布式系统数据同步最麻烦的是在同步机制的设计尤其是考虑异常对一致性和完整性带来的事务层面的问题,难点不在传输

一致性和完整性,只需要在每个应用中控制就可以了,这个和同步有关系吗?抛开同步,应用本身就应该保证数据的完整性和一致性啊。

我指的是类似在active-active和active-slave中的数据同步
这涉及同步你能容忍的时间窗口,增量检测,数据在事务环境下的同步策略(即本地事务的提交是否要考虑等待接收远端同步的确认)
同步的问题其实就和分布式事务一样,一旦出现事务相关的严格同步(即通讯两方当机或者被毁灭数据都不丢失),就会有比较复杂的逻辑设计,这不是rmi或者ftp重传这种机制能解决的
最近在弄data guard的方案,这是Oracle的数据同步系统,开始觉得挺简单,但真正做下来发觉实时数据同步是有很多意外必须考虑的,这远远超过了rmi实现这个层面的内容
7 楼 linxueqin 2011-06-24  
很多DBS本身就有集群功能!不妨试试!
6 楼 bobotc 2011-06-24  
ppgunjack 写道
这和分布式系统数据同步没多少联系,只是基于远程调用的数据传输
分布式系统数据同步最麻烦的是在同步机制的设计尤其是考虑异常对一致性和完整性带来的事务层面的问题,难点不在传输

一致性和完整性,只需要在每个应用中控制就可以了,这个和同步有关系吗?抛开同步,应用本身就应该保证数据的完整性和一致性啊。
5 楼 ppgunjack 2011-06-24  
这和分布式系统数据同步没多少联系,只是基于远程调用的数据传输
分布式系统数据同步最麻烦的是在同步机制的设计尤其是考虑异常对一致性和完整性带来的事务层面的问题,难点不在传输
4 楼 bobotc 2011-06-24  
AOP记录sql, 写入文件,文件按照一定规则hash。
定时将文件压缩成zip包,socket方式推入同步处理中心,由同步中心写入master。
参考mysql 主从复制。
3 楼 ycysth 2011-06-24  
我们现在就是这样一个异构系统,使用的也是WebService,就是传输率较大,正在考虑使用GZip压缩数据
2 楼 yangyi 2011-06-24  
这个和web services应该没什么关系,最多算是广义web services的一个很小的子集
减少网络传输的代价是服务使用者和提供者进行的终端计算,用zip压缩同样满足
1 楼 freish 2011-06-24  
这就全是RMI的特点被你写上了,并且通过RMI的话,负载均衡以及灾难恢复就要自己去实现了

用webservices的话可以由容器(如WAS集群,IHS)去做了

如果只是远程方法调用的话,断点传输似乎是鸡肋

相关推荐

    联合GNSS的分布式传感器数据同步采集方法研究.pdf

    综上所述,该研究提出的联合GNSS的分布式传感器数据同步采集方法,为解决实际工程中的数据同步问题提供了新的思路和解决方案。通过精确的时间同步,不仅可以优化多源数据融合,还能为铁路沿线地质灾害监测等关键领域...

    java分布式数据库同步系统(解决中美异地机房).rar

    Java分布式数据库同步系统是针对大型企业或互联网公司在全球范围内拥有多个数据中心时,为确保数据的一致性和可用性而设计的一种解决方案。在这个系统中,我们主要关注的是如何在中美两地的异地机房之间实现高效、...

    基于交换中心的分布式系统数据同步技术 (1).pdf

    总之,基于交换中心的分布式系统数据同步技术,为解决分布式数据库间数据同步问题提供了一种有效的方案。该方案具备了直接与交换中心进行数据交换、灵活配置同步模式和数据下发方式、JAVA跨平台开发、XML文本格式...

    电子战系统中分布式数据同步技术.pdf

    电子战系统中分布式数据同步技术是一种专门针对电子战环境下分布式系统数据一致性问题的解决方案。随着电子战装备技术的快速发展和部队信息化水平的提升,日常训练和实际操作过程中积累了大量的数据。这些数据的规模...

    JTangSync分布式异构数据同步系统的设计与实现.pdf

    JTangSync系统的设计不仅提升了企业数据同步的效率,也为企业提供了一个稳定可靠的数据同步解决方案。在企业的实际应用中,该系统能够帮助管理者有效地进行数据治理,确保数据的一致性和完整性,这对于企业构建数据...

    使用分布式文件系统实现数据同步.pdf

    这种系统大大提高了数据管理的灵活性和数据的可用性,同时也为数据的负载均衡和数据冗余提供了有效的解决方案。实现数据同步是分布式文件系统的一大优势,它能够确保分布在不同物理服务器上的数据保持一致。 在进行...

    基于WEB服务的分布式异构数据同步设计.pdf

    在实际应用中,WLDSS模型通过分布式太阳能热水系统的控制系统数据同步应用得到了验证。由于太阳能热水系统分布式的特性,其控制系统数据分散于各个节点,需要保持一致性。WLDSS模型成功地实现了这些数据的同步,验证...

    分布式系统一致性问题解决方案

    那么,分布式系统在面临各种业务场景时,究竟是哪些因素导致了一致性问题的产生,又有哪些有效的解决方案呢? 首先,我们需要了解一致性问题产生的背景。在分布式系统中,由于系统是由多个部分组成的,这些部分可能...

    Oracle分布式系统数据复制技术

    Oracle 分布式系统数据复制技术是为了解决大型或中型企业中地理分散部门的数据共享问题。数据复制技术允许数据在不同地理位置的多个数据库中被复制,以实现本地访问,减少网络负荷,提升数据访问速度,并确保数据的...

    基于JMS的分布式数据同步.pdf

    然后,文章提出了基于JMS的解决方案,强调了JMS在保证数据一致性、实时性和可靠性方面的优势,适合多节点双向数据同步。 基于JMS的分布式数据同步模型利用XML(eXtensible Markup Language)技术来结构化和交换数据...

    数字分布式系统时间同步CAN总线协议研究.pdf

    总结来说,本文所述的时间同步CAN总线协议是针对电力系统分布式实时控制领域的一种创新解决方案。它旨在解决时间同步问题,保证信息传输的实时性和准确性,进而提升系统的整体性能。通过定义统一的时间同步格式和...

    基于消息中间件技术的分布式气象数据同步系统设计和实现.pdf

    分布式系统是信息技术领域中用来解决在多地点进行信息共享和协同作业需求的一种常见的系统架构。随着信息技术和物联网设备的普及,各类数据量呈爆炸式增长,如何有效地管理和同步这些数据成为了系统设计和实现中的...

    分布式事务原理及解决方案.docx

    ### 分布式事务原理及解决方案 #### 1. 引言 ...在选择合适的分布式事务解决方案时,需要综合考虑系统的具体需求和技术背景。随着技术的发展,未来可能会出现更多创新的方法来解决分布式事务问题。

    分布式系统:数据一致性解决方案.docx

    ### 分布式系统:数据一致性解决方案 #### 一、引言 随着信息技术的快速发展与互联网应用的日益普及,分布式系统已成为构建大型应用的基础架构之一。然而,在分布式环境中,如何确保数据的一致性成为了一个关键的...

    精细分析Oracle分布式系统数据复制技术.pdf

    数据复制技术是实现分布式系统数据一致性的重要手段。在Oracle分布式系统中,数据复制允许系统管理员将关键数据从一个数据库复制到多个数据库中,以此来提高数据的可用性和安全性。通过复制技术,数据可以分散存储在...

    异构数据库数据同步分布式系统毕业论文.doc

    数据库同步技术在分布式系统中的应用 摘要:随着分布式数据库系统应用的日渐广泛,数据库中...本文研究了数据库同步技术在分布式系统中的应用,设计了一种基于 Oracle GoldenGate 的数据同步系统,并对其进行了测试。

    分布式系统原理与范型答案(第二版)答案

    11. **分布式协调服务**:如Zookeeper,它们提供命名服务、配置管理、集群同步等功能,是构建分布式系统的重要基石。 12. **分布式服务发现**:服务发现允许服务自动找到彼此,这对于动态变化的分布式环境尤其重要...

Global site tag (gtag.js) - Google Analytics