java如何做到实时-----两种方案

今天老大提出这样的需求:"数据库新增了数据就要及时通知应用层做一系列的处理"

针对这需求我觉得应该分为两种方案： 如有更好的欢迎大家指教

第一：
      SQL+存储过程+触发器+DLL调用的方法来实现数据实时

第二：
     后台弄一个线程做定时查询(例如1秒钟2次查询)，但这里就涉及到性能的问题，对于庞大的数据量我觉得有个方案
     做个临时表
      比如A表是原来的数据库表 那么把一个小时（时间自定）内的数据放到临时B表里，每隔1小时清空B表里的数据，要数据就索引B表里的数据,然后再做相应的处理
    

评论

49 楼 ckn126 2010-06-21  

凤舞凰扬 写道

F.B.I 写道

今天老大提出这样的需求:"数据库新增了数据就要及时通知应用层做一系列的处理"

针对这需求我觉得应该分为两种方案： 如有更好的欢迎大家指教

第一：
      SQL+存储过程+触发器+DLL调用的方法来实现数据实时

第二：
     后台弄一个线程做定时查询(例如1秒钟2次查询)，但这里就涉及到性能的问题，对于庞大的数据量我觉得有个方案
     做个临时表
      比如A表是原来的数据库表 那么把一个小时（时间自定）内的数据放到临时B表里，每隔1小时清空B表里的数据，要数据就索引B表里的数据,然后再做相应的处理
    

     感觉包括楼主在内的许多人对于这样一种“需求”的不正确理解。首先要问楼主的是，所谓的数据库新增数据的行为是如何产生的？在实际的生成环境中会允许人直接使用SQL或者SQL工具对数据库的数据进行更新操作么？（就算是datapatch,也会有一定的折中处理方式吧）。遇到这样的需求，其实楼主要找到的方案应该是从控制数据库的访问入手，比如如果是通过程序，则进行程序的统一拦截，如果是来自于其他系统或者数据库的stream复制，则可以通过触发消息机制。不应该从数据库本身的角度入手去通过什么触发器然后调用DLL方法什么的，这其实是一个方向性的失误的。
     至于频繁到1，2秒的轮询，更加是不可取的方案。

对于这位朋友的解答 我感觉非常正确。当一开始看着贴的时候我也是以为会用楼主说的第一种方法来完成，但是现在看来我的想法是错误的，我有一点非常疑惑 如果人家用数据库工具来操作数据库，这个应该是有一定的限制的吧。不知道各位有什么见解

48 楼 miaow 2009-12-14  

不奇怪啊，如果历史形成了有多个不同的应用都直接操作数据库，要额外加个处理逻辑又不想都改的话想到这样的做法很正常。

47 楼 airsise 2009-12-14  

F.B.I 写道

今天老大提出这样的需求:"数据库新增了数据就要及时通知应用层做一系列的处理"

针对这需求我觉得应该分为两种方案： 如有更好的欢迎大家指教

第一：
      SQL+存储过程+触发器+DLL调用的方法来实现数据实时

第二：
     后台弄一个线程做定时查询(例如1秒钟2次查询)，但这里就涉及到性能的问题，对于庞大的数据量我觉得有个方案
     做个临时表
      比如A表是原来的数据库表 那么把一个小时（时间自定）内的数据放到临时B表里，每隔1小时清空B表里的数据，要数据就索引B表里的数据,然后再做相应的处理
    

怎么会想到从数据库入手呢？难以理解。

46 楼 qeppykqsn 2009-12-14  

mathfox 写道

rovanz 写道

....
只要统一数据库操作的入口不就做到了，你爱杂折腾咋折腾，而且这种方式对数据库没有任何额外的操作

修改JDBC driver怎么样？

不知道这么做合不合理

小弟一直有个疑问。。。大家不要潮笑啊。。。

这里如果我修改driver然后程序里面知道了数据库里面有修改动作，但是我怎么样去通知我的所有客户端，让客户端作对应的展示呢？

45 楼 wangpinzhuang 2009-11-19  

  在insert,update,delete 的事务提交时通知应用层，要其更新：那张表中的信息，更新策略是怎样的。更新的策略可以事先配置到配置文件中，可以是只读取某几个字段，也可以是全表更新。

44 楼 java_zhanghui 2009-11-13  

呵呵，感觉不像实时，lz理解有问题吧，应该是异步通知的概念。

43 楼 gembler 2009-11-13  

F.B.I 写道

第一：
      SQL+存储过程+触发器+DLL调用的方法来实现数据实时

xqh1022 写道

这帖子很火，确实java及时数据的问题值得探讨，但除了lz的第一种方法，其他的方法都没有做到及时

实在想不通你是怎么想的

42 楼 whaosoft 2009-11-13  

确实java及时数据的问题很值得探讨。

41 楼 tibetjungle 2009-11-12  

langyu 写道

数据库新增加数据总是有程序往里面塞的吧
塞数据的程序在添加数据后，就通知一个监听程序，让监听程序去数据库中去取
(可以传一个新添数据的最小Id给监听程序，让它从这个id之后取最新数据)

除非可以在基类修改，采用模板方法，不然改代码会改死人的。其实这个方法还不如用代理！

40 楼 xqh1022 2009-11-12  

这帖子很火，确实java及时数据的问题值得探讨，但除了lz的第一种方法，其他的方法都没有做到及时

39 楼 F.B.I 2009-11-12  

Dreamer 写道

如果楼主能控制所有访问该数据库的应用程序的话，如果同构，建议统一数据访问层；如果异构，需要修改应用程序，加入消息机制。
如果楼主没有办法控制其他访问该数据库的应用程序，个人觉得楼主的方案1比较合理一些。

触发器一个很大的弊端 就是性能问题。

38 楼 jenlp520 2009-11-12  

F.B.I 写道

jenlp520 写道

我记得以前javaeye上有个兄弟说他准备在mysql上加上监听器 mysql任何操作都可以触发监听器然后响应事件 不知道现在开发进度如何了

触发器嘛？ 第一性能有问题 第二就是有时候还不触发，不知道你碰没碰到过，一般一个系统不提倡用触发器的，除非特殊情况下。

NO NO NO 不是触发器

37 楼 Dreamer 2009-11-12  

如果楼主能控制所有访问该数据库的应用程序的话，如果同构，建议统一数据访问层；如果异构，需要修改应用程序，加入消息机制。
如果楼主没有办法控制其他访问该数据库的应用程序，个人觉得楼主的方案1比较合理一些。

36 楼 iaimstar 2009-11-12  

代理模式 搞定。。但是不能响应手动的数据操作

35 楼 gembler 2009-11-12  

自行实现一个简单的JDBC代理，想干嘛都行了。

老是爱折腾..

34 楼 F.B.I 2009-11-12  

凤舞凰扬 写道

F.B.I 写道

今天老大提出这样的需求:"数据库新增了数据就要及时通知应用层做一系列的处理"

针对这需求我觉得应该分为两种方案： 如有更好的欢迎大家指教

第一：
      SQL+存储过程+触发器+DLL调用的方法来实现数据实时

第二：
     后台弄一个线程做定时查询(例如1秒钟2次查询)，但这里就涉及到性能的问题，对于庞大的数据量我觉得有个方案
     做个临时表
      比如A表是原来的数据库表 那么把一个小时（时间自定）内的数据放到临时B表里，每隔1小时清空B表里的数据，要数据就索引B表里的数据,然后再做相应的处理
    

     感觉包括楼主在内的许多人对于这样一种“需求”的不正确理解。首先要问楼主的是，所谓的数据库新增数据的行为是如何产生的？在实际的生成环境中会允许人直接使用SQL或者SQL工具对数据库的数据进行更新操作么？（就算是datapatch,也会有一定的折中处理方式吧）。遇到这样的需求，其实楼主要找到的方案应该是从控制数据库的访问入手，比如如果是通过程序，则进行程序的统一拦截，如果是来自于其他系统或者数据库的stream复制，则可以通过触发消息机制。不应该从数据库本身的角度入手去通过什么触发器然后调用DLL方法什么的，这其实是一个方向性的失误的。
     至于频繁到1，2秒的轮询，更加是不可取的方案。

我说下我的观点：
              1.这位兄弟，感觉你的说话思路很清晰、也许这么弄会更好
              2.这只是老大要我帮他的，我搞java他弄c++具体的实现不由我来。如果是我弄，那我肯定不是数据库 开始，所以当别人手下难啊。也许是IT人的无奈吧。你的这办法非常好，谢谢

33 楼 ray_linn 2009-11-11  

选择特定的数据库，比如MS SQL 2005,就实现了通知。

32 楼 凤舞凰扬 2009-11-11  

F.B.I 写道

今天老大提出这样的需求:"数据库新增了数据就要及时通知应用层做一系列的处理"

针对这需求我觉得应该分为两种方案： 如有更好的欢迎大家指教

第一：
      SQL+存储过程+触发器+DLL调用的方法来实现数据实时

第二：
     后台弄一个线程做定时查询(例如1秒钟2次查询)，但这里就涉及到性能的问题，对于庞大的数据量我觉得有个方案
     做个临时表
      比如A表是原来的数据库表 那么把一个小时（时间自定）内的数据放到临时B表里，每隔1小时清空B表里的数据，要数据就索引B表里的数据,然后再做相应的处理
    

     感觉包括楼主在内的许多人对于这样一种“需求”的不正确理解。首先要问楼主的是，所谓的数据库新增数据的行为是如何产生的？在实际的生成环境中会允许人直接使用SQL或者SQL工具对数据库的数据进行更新操作么？（就算是datapatch,也会有一定的折中处理方式吧）。遇到这样的需求，其实楼主要找到的方案应该是从控制数据库的访问入手，比如如果是通过程序，则进行程序的统一拦截，如果是来自于其他系统或者数据库的stream复制，则可以通过触发消息机制。不应该从数据库本身的角度入手去通过什么触发器然后调用DLL方法什么的，这其实是一个方向性的失误的。
     至于频繁到1，2秒的轮询，更加是不可取的方案。

31 楼 F.B.I 2009-11-11  

jenlp520 写道

我记得以前javaeye上有个兄弟说他准备在mysql上加上监听器 mysql任何操作都可以触发监听器然后响应事件 不知道现在开发进度如何了

触发器嘛？ 第一性能有问题 第二就是有时候还不触发，不知道你碰没碰到过，一般一个系统不提倡用触发器的，除非特殊情况下。

30 楼 jenlp520 2009-11-11  

我记得以前javaeye上有个兄弟说他准备在mysql上加上监听器 mysql任何操作都可以触发监听器然后响应事件 不知道现在开发进度如何了