写内存，写文件，写数据库，如何权衡！

写内存，写文件，写数据库，如何权衡！
速度比较：写内存>写文件>写数据库
写内存快是快，但是内存中的数据是无法持久化的。
写文件比起写数据库速度快了很多，但是查询统计文件中的数据就非常困难了。
写数据库就是慢，特别是高并发的时候会锁表。

看看流量分析系统是如何权衡这三种的关系的：

流量分析系统会在每个要被统计的网站上放上一段js,每次网站的某一个页面被访问时这段js都会提交一次流量分析系统用与统计PV。所以流量分析系统的并发量是非常大的。
并发量如此之大，所以每次提交的数据不能直接写文件，更不能写数据库，所以只能写内存。在java中可以写入一个Static的Vector中，并用一个线程读取Vector中的数据，并每隔一分钟或半分钟写一次文件，文件名为“年月日时“，所以是每小时会生成一个新的文件。后台用一个perl或python的进程每小时去合并，分析这些文件，最后把分析后的结果会插入到数据库中。


服务器架构：多台日志收集服务器（写内存，线程写文件），一台文件分析服务器（perl,python),一台数据库服务器（oracle)

一起学习讨论一下。高并发下如何快速应对。

评论

4 楼 liquidthinker 2007-08-20  

bromon 写道

我以前的做法是创建一个jms的连接池,收到数据就从池里面抓出来一个连接,把数据发到jms队列,由消息bean自己异步处理.只要不新建连接,发消息的速度是相当快的

我也用这种方式，总之就是用异步方式处理这种问题，可以用jms+mdb或者工作队列

3 楼 bromon 2007-08-20  

我以前的做法是创建一个jms的连接池,收到数据就从池里面抓出来一个连接,把数据发到jms队列,由消息bean自己异步处理.只要不新建连接,发消息的速度是相当快的

2 楼 wangrui 2007-08-19  

我目前正在做一个监控系统,也遇到这种问题.目前的做法是:缓存-定时分析写库.将库中分析结果反映到监控画面.但是实时性比较差.

1 楼 bruce_luo 2007-08-15  

恩，我们以前做的一个日志分析系统也是这样做的，全JAVA写的!理论上是一样的!