`
悲剧了
  • 浏览: 143940 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

同步数据涉及到的一些思考及解决

阅读更多
项目需求:数据库由于业务需要,相关表数据不一致,需要同步



    设计到的问题-->>
    [1]同步的记录表数据由触发器来控制还是程序?

    [2]什么时候做同步?

    [3]数据量大的情况如何处理?

    [4]同步时候标志已经操作过的数据,下次操作的时候方便操作,此sql操作会涉及大量数据,怎么效率较好?




  • 第一个问题解决:触发器简单直接,不需要程序里面写很多东西,但是触发器一多貌似不是什么好事
  • 第二个问题解决:什么时候同步可以由cron表达式和job来控制,但是你的代码必须复杂一点。
  • 第三个问题解决:数据量大,每次处理数据分页取,分页处理,那么此时跟分页的原理一样,每次记录当前处理的条数,然后一次处理多少条,多少条你可以随便指定(类似每页显示多少条),根据你数据库的性能和系统资源。
  • 第四个文件解决:标志一般利用时间,但是主键是自增长的话,为什么要去每次记录时间去比较呢?用id不是更好吗?每次操作取出上次操作的最后一条数据的id,再查询当前数据库最大的id数是多少,此时就形成了一个id区间,那么你的程序接下来就运行在这个id区间中,每次区也是在这个id区间取,如果数据量大,id区间每次指定一定范围,把大区间划分成n个小区间去处理。标志什么也省了,操作完数据我记录他的id,不需要在更新数据库里面的标志,更新标志就属于不好的设计。




    两天时间就从思考到实现,解决了以上问题,我的tomcat源码,solr教程 struts2源码还没时间看了,明天得看啊,等不及了,但今天实在没精力了
分享到:
评论

相关推荐

    数据加密技术在计算机网络安全中的实践思考.pdf

    端对端加密技术涉及从数据的发送端到接收端的全程加密。无论是源数据的生成、传输过程中的存储还是最终目的地的数据接收,端对端加密都确保数据是以密文形式存在。即便传输路径上的某个节点被攻破,攻击者也无法获取...

    在Delphi中利用多线程实现数据采集的方法.doc

    3. **同步机制**:为了保证线程间的正确通信,Delphi提供了多种同步机制,如`Synchronize`函数用于在线程之间安全地传递数据和执行操作。 ##### 具体实例分析 1. **实例背景**:本实例旨在演示如何使用多线程技术...

    数据中台的深度思考与总结.docx

    首先,数据汇聚是数据中台的基础,涉及到从不同网络和数据源收集数据。常用的方法包括数据库同步(如Canal、DataX、Sqoop)、埋点、网络爬虫和消息队列。数据汇聚分为离线批量和实时采集两种模式,满足不同场景的...

    关于GPS数据处理软件的思考.pdf

    数据预处理主要涉及原始观测数据的去噪和平滑滤波,以及数据格式的统一;基线解算是通过差分观测模型计算基线向量的过程,需要进行同步环闭合差、异步环闭合差和复测基线较差等检核;网平差则是将控制点坐标转换到...

    典型同步问题模拟处理编程设计与实现.zip

    以下是一些典型的同步问题及其解决方案: 1. **哲学家就餐问题**:由Dijkstra提出的经典问题,五个哲学家围坐在一张圆桌旁,每人面前有一根筷子。他们同时思考和吃饭,但不能同时拿起左右两边的筷子。这个问题展示...

    2015三年级数学下册 第9单元第1课时《数据的收集和整理》同步练习(1) 苏教版

    此外,收集5月份天气情况的作业,引导学生思考如何系统地收集数据,并进行数据分析,如计算各种天气所占比例,这涉及到了更高级的统计概念,如比例和百分比。 总的来说,这份同步练习通过多种活动和问题,旨在帮助...

    操作系统-进程同步的实现

    这通常涉及到信号量机制、管程、条件变量等同步工具的使用。以下将对这些知识点进行深入讲解: 1. **信号量机制**:信号量是一个整型变量,用于控制对临界区的访问。P(wait)操作用于申请资源,如果资源可用则减1...

    进程同步模拟设计--哲学家就餐问题

    在计算机科学领域,进程同步是多线程编程中的一个核心概念,它涉及到多个并发执行的进程之间如何协调工作,确保数据的一致性和避免资源竞争。哲学家就餐问题(Dining Philosophers Problem)是由计算机科学家 Edsger...

    燕山大学数据结构实验报告.doc

    数据结构是计算机科学中的核心课程,它探讨了如何有效地存储和组织数据,以便进行高效的计算。...实验报告中的问题及解决过程部分,显示了学生在遇到困难时的思考和解决方案,这在实际编程工作中是非常宝贵的技能。

    数据的类别及特征分析--基于大数据时代背景的思考.zip

    2. 数据多样性:大数据涉及各种类型的数据,处理半结构化和非结构化数据需要特定的工具和技术,如NLP处理文本数据,深度学习处理图像和语音。 3. 数据速度:实时或近实时的数据分析需求推动了流处理和实时计算的...

    时间同步服务器设计.pdf

    【实验目的】 本次实验主要目的是让参与者熟悉网络编程中的时间同步服务器设计,通过实现一个基于TCP协议...同时,实验还鼓励你思考和解决可能出现的问题,培养解决问题的能力,并对时间同步的复杂性有更直观的认识。

    一种基于区块链技术的大数据共享模型研究.pdf

    然而,数据共享的安全性、数据所有权的保障、追溯机制的建立、以及激发数据贡献者积极性等问题成为了大数据共享中需要深入思考的难题。区块链技术的出现,提供了去中心化、分布式共识、可追溯和难以篡改等特性,为...

    并发数据结构(Concurrent data structures)

    本文将概述设计并发数据结构所面临的挑战,并总结一些重要数据结构类别的相关工作。 #### 二、设计并发数据结构的关键要素 在设计并发数据结构时,有几个关键要素需要考虑: 1. **性能**:这是衡量数据结构效率的...

    数据加密技术在计算机网络安全中的应用思考.pdf

    这种方式需要确保加密设备和网络管理系统同步,对数据传输路线进行确定,采用不同的加密策略对各个区域的数据进行加密处理,以提高数据的安全性。 节点加密则是在数据传输的节点处应用加密技术。通过与节点机相连的...

    职技高师《数据结构》课程建设实践与思考——以江西科技师范大学为例.pdf

    《职技高师《数据结构》课程建设实践与思考——以江西科技师范大学为例》一文主要探讨了数据结构课程建设中的关键因素和实践方法,具体涉及师资队伍建设、教学内容体系及教材建设、教学方法与手段改革、实践教学以及...

    射频技术与应用 普通调幅波的同步检波-讲稿.docx

    简而言之,这涉及到将本地参考电压与接收的调幅波相乘,然后通过低通滤波器提取低频成分,最后调整相位使得与调制信号完全同步,从而有效地从调幅信号中分离出原始信息。 综上所述,普通调幅波的同步检波是射频技术...

    数据通信基础及远动通信规约-《电力系统远动及调度自动化》思考题题解.doc

    数据通信是计算机科学中的一种关键技术,它涉及到计算机及其终端设备之间的信息传输、转接、存储和处理。数据通信系统由三部分构成:计算机、终端装置和通信线路。数据通信的工作方式有全双工、半双工和单工三种。全...

    2013年八年级数学上册 8.4 回顾与思考同步测试 北师大版

    6. **数据的分布情况**:第5题和第11题涉及到数据分布的分析,例如了解某地农民的用电情况,或者学生身高的分布,通过计算平均数、中位数和众数可以了解整体趋势。 7. **数据比较**:第9题中,要判断自己的成绩是否...

    进程同步练习(答案).docx

    管程是一种高级同步机制,它提供了一种封装共享数据及对这些数据的操作的方式,使得共享数据只能通过一组命名的过程来访问。管程内部的操作是自动互斥执行的,这使得程序员不必显式地管理锁。 ### 实战练习案例分析...

Global site tag (gtag.js) - Google Analytics