zhmiao
- 浏览: 1885 次
- 性别:
- 来自: 北京
-
最近访客 更多访客>>
最新评论
-
flashing：
mangodb+mapreduce?
怎样处理系统中每日大量数据上传问题及报表统计分析缓慢问题
文章列表
这边系统大致情况：
外业人员每人一个手持终端，大约在线同时有200多号人，然后每一个终端隔一段时间就给服务端发送当前位置数据。每日数据量大概有30w条数据。
现在做法数据全部插入到了一张表中，造成这个表数据量很大，目前这边做法这个表只保留一个季度的数据，别的备份到备份表中。但是还是不能解决问题，当这个表有几千万条数据时，做统计分析功能很慢，因为还要关联别的表，group这种常用。
我的一点思路，服务端首先过滤下终端提交上来的数据，当提交的数据在一个容差范围内，过滤这种无用的数据，还有就是在服务端做一点缓冲，当够n条时再请求数据库向数据库提交，目前做法是来一条就数据库提交一条 ...