前台如何处理大量的实时数据？求个思路

0 0

前台如何处理大量的实时数据？求个思路5

遇到个问题，比如前台界面查出了5万个点显示，且每个点的位置都在不断的变化，点的坐标信息在数据库中，请问有没有什么思路可以参考一下啊，
最开始思路是：
前台每隔一到二秒用ajax去查一次，查出一批数据，然后再在界面用timer画，但是5万个点会不会把浏览器挂掉哦，求个思路，谢谢哦

JavaScript jQuery

2014年9月23日 11:08

yugege
20
0 0 2

这里有几个问题：
1. 每次数据库加载5万条数据，在多个用户的场景下，数据库压力是很大的；
2. 每次给客户端传输5万条数据，每次请求的数据量应该是以M为单位的，也很大；
3. 前端每次绘制5万个节点，会很慢；

其中的第三个问题，不熟，请另请高明；

问题1：
   可以考虑内存+数据库的方式存储数据：
      。数据变更：写内存 ==》写数据库（集群的情况下内存存储需要做广播或者复制）；
      。数据查询：直接从内存中返回当前的数据集；

问题2：如何减少数据量？
   。每条数据带个更新时间，在内存存储的时候按照更新时间排序；
   。前端在刷新的时候提供上次更新的时间，这样服务器只返回自上次起更新后的数据
         -----也就是说更新由全量的更新优化为增量的更新方式。

2014年9月24日 11:18

鳄鱼旭
248
0 0 17

1条评论

0 0

首先，同时表示5万个点，谁能看得清？
估计你是做地图应用，那么画面表示的地图是有范围的，只表示这范围内的点不就可以了？
如果你说画面范围内就可以显示5万个点的话，那肯定也是有重要的和不重要的区别吧。
某些数据在比例尺比较大的时候就不应该显示了。

所以第一步你要控制数据的查询范围，包括可以显示的范围和需要显示的比例尺范围。
这个控制好了，我觉得一个画面内能表示1000条数据就已经接近人的极限了，比较好的做法是控制在几十条或者几百条。

另外，不要在前台描画，就算几百个点，描画复杂的话，也会把浏览器搞得很慢，你可以在后台，利用Server的高性能，采用比如WPF或者Java2D之类的技术把要表示的东西动态做出图片来，然后前台的Ajax轮询去取得后台的图片替换上一次表示的图片。
如果图片比较大，还想避免闪烁效果，可以考虑HTML的Canvas的2级缓存技术。

总之：
1，控制数据量，只显示人能看得清的东西
2，前台性能瓶颈的时候，用后台做图片供前台显示。

用WPF画上千个点线面做图片是非常快的，这个不成问题。java的没试验过。

2014年9月23日 11:17

red008
217
0 1 24