Internet的数据库信息推送技术实现

  最近在做实时的监控系统，好多人都推荐采用服务器推送的方式来实现，于是乎，看了一个“基于Internet的数据库信息推送技术的研究和实现”的文章，貌似还是个小硕的论文，嘿嘿！
    认为这种推送需要由当数据库有新数据时及时告知服务器，然后服务器在通过推送的方式告知和服务器保持连接的客户端，也就是浏览器页面。。
    先来说说服务器推送到页面的方式吧，从服务器到WEB端页面有好多种实现方式，像什么Socket、Flash的Socket，基于Iframe的实现，AJAX长连接方式吧，
    而从数据库向服务器推送数据，数据库有变化调用触发器，通过扩展的存储过程（外部过程，dll）向服务器发送数据，这个扩展存储过程本质是一个函数，随同sqlserver注册，从属于微软的ODS（开放数据服务），方便在扩展存储过程传入和传出数据，不知道有没有人用过这种从数据库推送的方式，这种方式可靠不。
   而我问了一个XX培训的老师（不是此培训学校弟子，只是去玩，顺便探讨 ），他貌似很果断的都说了，他说触发器这种的是什么数据库级别的，不可靠云云，这是真的不。。。


  对于这个获取到数据经过计算之后马上推送到客户端，我想阐述一下：这里面有两个服务器，一个C++服务器向数据库里面插入，还有一个是Java这边得一个网页上服务器，C++的服务器已经写好了在这放着呢，不可能在更改他的内容了，而他只管向数据库里面插入数据，而不会在告知我这个Java服务器有新数据来了或者有新数据的信息，
  所以我才说能不能使用数据库获取到新数据主动推送到Java服务器这边，通过java服务器在推送到和他保持连接的页面上，
  而数据库获取到新数据告知服务器，我想只有触发器才能做到吧。。。。
  所以我想知道数据库触发器来推送新的数据信息这个是否可靠，
  当程序有新数据往内存里面存，这个是行不通的，1、两个不在一个服务器，一个是插入的C++服务器，处理数据信息，这个已经做好，因为一些原因，这个不会在变更了 2、java服务器，主管读取数据信息
 
  

评论

29 楼 yizhilong28 2011-06-30  

Comet，porlet

28 楼 奥义之舞 2011-06-27  

guoapeng 写道

===============话题1===================
实时的监控系统
Tibico  已经有好的解决方案了
名字叫Tibico Hawk ,很好很强大，
建议楼主不要重复造轮子了，
如果楼主要重复造轮子的话，可以参考以下它，
一定会有所收获。它里面的push 是用Message queue做的


===============话题2===================

另外你说的数据库Push 方式，Oracle的我用过，很稳定。
原理很简单，实现也不麻烦，不过对现有系统要有所改动。
举个简单的例子

如果你要监控A, B,C 三个表，那么你要建立一个监控表M,
和三个表级触发器，另外要在A,B,C 三个表各加一个子段叫Updated_sequence

当A,B,C中有数据被更新时，触发器将向M 表中插入一条数据，内容只要包括表名即可，然后Oracle 有一个数据推送机制，好像叫DB Watch ,可以将M表中的数据推送到
Server端，Sever端根据接收到的表名，和缓存下来的最大 updated_sequence，发送一条select 语句就可以取得被更新的数据 ，
例如 select * from A where Updated_sequence> max_updated_sequence，

注意：A,B,C 表中insert , update,时都要修改Updated_sequence 字段，不建议用delete语句，建议用enable/disable字段间接实现delete功能。

不错 嘿嘿

27 楼 guoapeng 2011-06-27  

===============话题1===================
实时的监控系统
Tibico  已经有好的解决方案了
名字叫Tibico Hawk ,很好很强大，
建议楼主不要重复造轮子了，
如果楼主要重复造轮子的话，可以参考以下它，
一定会有所收获。它里面的push 是用Message queue做的


===============话题2===================

另外你说的数据库Push 方式，Oracle的我用过，很稳定。
原理很简单，实现也不麻烦，不过对现有系统要有所改动。
举个简单的例子

如果你要监控A, B,C 三个表，那么你要建立一个监控表M,
和三个表级触发器，另外要在A,B,C 三个表各加一个子段叫Updated_sequence

当A,B,C中有数据被更新时，触发器将向M 表中插入一条数据，内容只要包括表名即可，然后Oracle 有一个数据推送机制，好像叫DB Watch ,可以将M表中的数据推送到
Server端，Sever端根据接收到的表名，和缓存下来的最大 updated_sequence，发送一条select 语句就可以取得被更新的数据 ，
例如 select * from A where Updated_sequence> max_updated_sequence，

注意：A,B,C 表中insert , update,时都要修改Updated_sequence 字段，不建议用delete语句，建议用enable/disable字段间接实现delete功能。

26 楼 squirel 2011-06-26  

可以，触发器+扩展存储过程，以前这么干过，在扩展存储过程里发到MQ。

不过最好是在数据入库之前先通过MQ等方式发出来，这种方式只能是不得已而为之。

25 楼 javafansmagic 2011-06-26  

基于楼主说的情况，C++服务器负责更新数据，Java服务器负责查询和显示数据，采用触发器来实现这个推送，我觉得楼主的思路是对的。但是有两点需要注意：如果数据量更新不频繁，用触发器应该可以解决，简单而且没什么副作用；如果数据更新的比较快，就像之前一些同学担心的，并发和性能是个问题。如果数据更新快，实时性不是非常高的话，可以考虑采用定时轮询的方式。我对楼主之前一语带过的服务器推送Web界面的东东倒是很感兴趣，最近项目中也要用到相关机制，但是在网上查了下，好像这种成熟的应用组件并不多。

24 楼 songbin0201 2011-06-26  

用触发器真的很不保险，数量大和并发大的时候简直就是灾难，如果对一致性要求不是特别高的话，可以尝试下pub/sub的方式，就是前面有同学说过的基于消息的方式

23 楼 jackerxff 2011-06-26  

就是Comet技术   Tomcat已经可以实现了   在Servlet3标准中应该已经支持

22 楼 sniffer123 2011-06-25  

不要用触发器 不可靠效率不高 以前做过数字电视实时计费的 就是oracle 处罚器中调用JAVA 后来摘掉了 老老实实写轮询吧
你可以在数据库和服务器中间加层memcached 写个watch dog就行

21 楼 czpae86 2011-06-25  

用pushlet应该可以满足你的要求…

20 楼 jackra 2011-06-25  

数据库和外部其实根本不需要推送，使用推送还不如使用消息机制。
首先不需要推送是因为数据库的链接都是socket的长连接机制。相对于http的短连接来说，连接的消息是两端都可控的。
其次保持长连接，进行缓冲数据的flush还不如使用消息机制或者RPC来的更合理。服务器的压力始终在于并存的数量，占用资源时间越长，并发的可支持度就越低。既然是服务器与数据库的链接，就不存在无法定向的问题，完全可以定向进行远程调用或远程通信。

19 楼 奥义之舞 2011-06-24  

rocwon 写道

监控。。。获取到实时数据后，写入数据库，再靠数据库的触发机制去提醒。。。这本身就是个问题。
应该获取到数据经过计算之后马上推送到客户端再，顺便用一个线程往DB或者文件里存储。

我也很想这样做 
真悲剧
  对于这个获取到数据经过计算之后马上推送到客户端，我想阐述一下：这里面有两个服务器，一个C++服务器向数据库里面插入，还有一个是Java这边得一个网页上服务器，C++的服务器已经写好了在这放着呢，不可能在更改他的内容了，而他只管向数据库里面插入数据，而不会在告知我这个Java服务器有新数据来了或者有新数据的信息，
  所以我才说能不能使用数据库获取到新数据主动推送到Java服务器这边，通过java服务器在推送到和他保持连接的页面上，
  而数据库获取到新数据告知服务器，我想只有触发器才能做到吧。。。。
  所以我想知道数据库触发器来推送新的数据信息这个是否可靠，
  当程序有新数据往内存里面存，这个是行不通的，1、两个不在一个服务器，一个是插入的C++服务器，处理数据信息，这个已经做好，因为一些原因，这个不会在变更了 2、java服务器，主管读取数据信息

18 楼 奥义之舞 2011-06-24  

lxm63972012 写道

你的服务器不是先接收到数据吗？

服务端有两个功能，一个功能是存储即时数据到数据库，另一个就是把即时数据推送到客户端。

 
  服务端向数据库插入信息的这部分已经写好了，不会在变更了，
对于这个获取到数据经过计算之后马上推送到客户端，我想阐述一下：这里面有两个服务器，一个C++服务器向数据库里面插入，还有一个是Java这边得一个网页上服务器，C++的服务器已经写好了在这放着呢，不可能在更改他的内容了，而他只管向数据库里面插入数据，而不会在告知我这个Java服务器有新数据来了或者有新数据的信息，
  所以我才说能不能使用数据库获取到新数据主动推送到Java服务器这边，通过java服务器在推送到和他保持连接的页面上，
  而数据库获取到新数据告知服务器，我想只有触发器才能做到吧。。。。
  所以我想知道数据库触发器来推送新的数据信息这个是否可靠，
  当程序有新数据往内存里面存，这个是行不通的，1、两个不在一个服务器，一个是插入的C++服务器，处理数据信息，这个已经做好，因为一些原因，这个不会在变更了 2、java服务器，主管读取数据信息

17 楼 rocwon 2011-06-24  

监控。。。获取到实时数据后，写入数据库，再靠数据库的触发机制去提醒。。。这本身就是个问题。
应该获取到数据经过计算之后马上推送到客户端再，顺便用一个线程往DB或者文件里存储。

16 楼 z87663849 2011-06-24  

用一个比较折中的方法好了。存储分为2个部分，一部分存储到数据库中，一部分存储到缓存组件中(类似redis,memcache) 然后专门用一个组件定时(极其短的时间)去访问缓存.组装数据,然后把数据推给客户端

15 楼 奥义之舞 2011-06-24  

lxm63972012 写道

你的服务器不是先接收到数据吗？

服务端有两个功能，一个功能是存储即时数据到数据库，另一个就是把即时数据推送到客户端。

我服务器 接收不到数据，这是有两个服务的，那个C++服务器是直接发送到数据库的，Java服务器接受不了任何东西，只有自己主动的去获取才能知道数据库更新了，或者让数据库主动推送，

14 楼 lxm63972012 2011-06-24  

你的服务器不是先接收到数据吗？

服务端有两个功能，一个功能是存储即时数据到数据库，另一个就是把即时数据推送到客户端。

13 楼 lipengyu2006 2011-06-24  

Node.js

12 楼 奥义之舞 2011-06-24  

silence1214 写道

我觉得问题的入手点是这样的，数据库何时知道数据有更新，只有数据库知道了才会推出去。那么如何办？触发器是其一，因为触发器可以知道更新。第二个办法，当往数据库进行操作的时候，由程序发出信号，另外的监听程序得到信号后，再去推送数据。这个可以用异步消息实现。

入手点都同意，不过你说的第二个点，应该是向数据库更新的程序同时都通知我这边吧，
（因为一方面原因这个程序不会向Java服务器这边发出通知的。。）
如果只是从Java服务器这边考虑呢，是不是只能让数据库推过来了。。。

11 楼 奥义之舞 2011-06-24  

dancewhyw 写道

有什么关系吗？内存服务器可以是一个集群。用个内存池存放消息，轮询返回的速度非常快，还没明白意思吗？
数据库光是触发器就一般都不推荐使用，何况是在高并发的场景中。

还有为什么不推荐使用触发器呢，使用触发器有什么弊病可以说一下么 谢谢

10 楼 silence1214 2011-06-24  

我觉得问题的入手点是这样的，数据库何时知道数据有更新，只有数据库知道了才会推出去。那么如何办？触发器是其一，因为触发器可以知道更新。第二个办法，当往数据库进行操作的时候，由程序发出信号，另外的监听程序得到信号后，再去推送数据。这个可以用异步消息实现。