`
zhmiao
  • 浏览: 1885 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
文章分类
社区版块
存档分类

怎样处理系统中每日大量数据上传问题及报表统计分析缓慢问题

阅读更多
这边系统大致情况:
    外业人员每人一个手持终端,大约在线同时有200多号人,然后每一个终端隔一段时间就给服务端发送当前位置数据。每日数据量大概有30w条数据。
    现在做法数据全部插入到了一张表中,造成这个表数据量很大,目前这边做法这个表只保留一个季度的数据,别的备份到备份表中。但是还是不能解决问题,当这个表有几千万条数据时,做统计分析功能很慢,因为还要关联别的表,group这种常用。
   我的一点思路,服务端首先过滤下终端提交上来的数据,当提交的数据在一个容差范围内,过滤这种无用的数据,还有就是在服务端做一点缓冲,当够n条时再请求数据库向数据库提交,目前做法是来一条就数据库提交一条。
   关于存这个大量点的表如何来拆分,处理很让人头疼。而客户需要的报表统计分析功能又复杂。大家帮忙出出主意。
分享到:
评论
1 楼 flashing 2013-08-25  
mangodb+mapreduce?

相关推荐

    久其报表4.0.522专业免费版

    该系统为报表数据的收集、整理、分析工作设置了大量功能,根据用户在数据收集处理工作中的不同作用,用户大体可以划分为三类,且各类用户使用分户系统的功能有所不同,下面分别介绍这三类用户的工作流程:

    陌陌聊天数据实现FineBI数据分析报表

    在大数据分析领域,陌陌聊天数据的处理与分析是一个典型的案例。本文将深入探讨如何使用FineBI工具,结合Hadoop和Hive,实现对陌陌聊天数据的深度挖掘与可视化的报表构建。 首先,让我们了解核心组件的作用: 1. *...

    VC实现数据块上传,数据记录上传,报表打印

    在网络通信中,数据块上传通常是指将大文件或大量数据分割成多个小块,然后逐个发送到服务器的过程。这样做可以提高上传效率,避免因单个大文件传输失败导致整个上传过程重头开始。在VC中,这可能涉及到Winsock库的...

    基于C#的报表统计分析管理系统

    ERP CSharp C# 报表 C# 打印 excel c# C# erp 报表设计 Excel的操作,其中可以读取及写入Excel 文件

    北京市朝阳区统计局网上报表直报系统

    企业在报表申报系统中进行在线或离线电子数据填报和数据审核,并通过申报系统将报表数据申报到统计局,统计局通过数据征管信息系统对企业申报数据进行整理、统计和分析并统一管理,并将分析处理后的数据提供给统计局...

    人力资源统计报表数据处理系统样本.doc

    《人力资源统计报表数据处理系统样本》是一份详细阐述如何管理和处理人力资源统计报表的文档,由北京金鑫耀网络科技有限公司在2008年十一月发布。该系统旨在提供一个高效的信息管理平台,帮助用户整理、校核、汇总和...

    网站数据统计分析报表(包含cnzz站长、百度搜索推广、百度网盟推广、商务通数据统计分析) 数据统计模板.xlsx

    网站数据统计分析报表(包含cnzz站长、百度搜索推广、百度网盟推广、商务通数据统计分析) 数据统计模板.xlsx

    客户端报表的统计分析(2).doc

    【客户端报表的统计分析】 ...报表的统计、分析、上传和核查流程需要严格按照规定进行,确保数据的正确流动和使用。同时,报表的细节设置和问题排查是确保报表质量的关键步骤,需要定期检查和优化。

    销售数据分析统计报表.xls

    销售数据分析统计报表

    中学成绩综合统计分析系统

    成绩综合统计分析系统是针对中小学校统计分析学生成绩而开发的系统软件。系统满足用户通过简单的操作, 快速录入成绩,快速输出各种成绩统计分析报表要求。系统不仅能高效的管理成绩,还实现全校师生都能参与 到...

    大数据量报表展现系统建设方案详细.pdf

    10. **数据挖掘**:数据挖掘技术被用来从大量数据中发现潜在规律,提取有价值的知识,为企业报表的生成和管理提供支持,推动精细化管理。 总的来说,大数据量报表展现系统建设方案旨在通过先进的技术和方法,构建一...

    企业客户资源管理系统(c# 水晶报表数据分析,使用)

    水晶报表(Crystal Reports)是该系统中的数据分析工具,它允许开发者创建复杂的数据报告,直观地展示客户数据。水晶报表能够从多种数据源获取信息,包括关系型数据库、XML文件或Excel表格等。通过使用水晶报表,...

    用报表开发工具对接OA系统的流程效率统计分析方案

    首先,方案的核心目的是实现企业内部多个信息系统的数据整合,尤其是办公协同、合同管理、ERP、项目管理系统等,这些系统中流程的处理和流转效率的统计至关重要。要实现这些目标,我们需要确保报表开发工具可以无缝...

    久其报表数据管理系统 V4.0

    《久其报表数据管理系统》是由北京久其软件股份有限公司自主开发研制的数据统计处理系统,是架构在久其自行研制开发的多维数据库之上,集成报表设计环境、数据采集功能、数据管理机制、公式编译系统、分析汇总模块...

    人事统计报表数据处理系统.pptx

    人事统计报表数据处理系统是企业管理和决策的重要工具,它主要用于收集、整理、分析和展示人力资源相关的数据,帮助企业更好地理解员工情况,优化人力资源配置,提升工作效率。本文将深入探讨该系统的安装、卸载、...

    交通运输行业报表系统 11统计分析监测和投资计划管理信息系统 第8章 图表分析.概要.pdf

    交通运输行业报表系统统计分析监测和投资计划管理信息系统图表分析 本章节主要介绍交通运输行业报表系统的图表分析模块,旨在帮助用户了解如何配置和使用图表来分析数据。图表分析是报表系统的核心模块之一,对于...

    实时报表系统需求分析说明书

    报表系统的数据管理能力要求是指系统需要满足的数据管理能力要求,例如数据存储、数据分析等。 7.5 故障处理要求 报表系统的故障处理要求是指系统需要满足的故障处理要求,例如错误处理、故障恢复等。 7.6 其他...

    企业数据统计分析报表XML字段含义及统计字段

    企业数据统计分析报表详细记录了每个分析报表的属性及含义,可以有效快速的查看统计报表内容及分析项。

    通用统计报表数据处理软件SARP2000 V30开发与使用.doc编程资料

    通用统计报表数据处理软件SARP2000 V30开发与使用.doc

Global site tag (gtag.js) - Google Analytics