现在在工作中遇到一个问题，就是MySql中有一张表，里面最多有2000W数据记录，时间是半年的，平均每天100W左右，我们的系统中有个功能，需要对2000W中符合时间区间的几百万做统计，汇总多个字段的和，目前发现查询的统计的效率特别的低下，不能够满足我们正常的应用，看大家有没有遇到过类似的问题，如何处理呢？而且，我看MySql的执行计划，根本也用不上什么索引；
目前我们想的办法就是将这些数据按照周，或者月去汇总，然后，统计查询的时候，查询汇总表，但是，这种办法对于夸月，或者跨周的统计，也是比较费劲的
分享到：
相关推荐
企业营收大数据统计可视化大屏是一种将复杂的企业运营数据转化为直观、动态展示的工具，常用于帮助企业决策者快速理解和分析业务状况。本项目提供了一套基于Html的模板，结合了大数据处理技术和Echarts图表库，实现...
### MySQL大数据分库和分表PHP解决方案 #### 一、引言 随着互联网技术的快速发展，数据量呈现出爆炸性增长的趋势。在这种背景下，单一数据库往往难以承受巨大的数据处理压力，因此，采用分库分表技术成为了提高...
项目架构：B/S架构 开发语言：Java语言 开发软件：idea eclipse 前端技术：Layui、HTML、CSS、JS、JQuery等技术 后端技术：JAVA 运行环境：Win10、JDK1.8 数 据 库：MySQL5.7/8.0 运行服务器：Tomcat7.0 CSDN太坑了...
1-1 概率论基础速查表 1-2 概率分布速查表 2-1 SQL 速查表 2-2 MySQL & SQL 速查表 2-2 MySQL & SQL 速查表 3-1 Hadoop 速查表 3-2 Apache Spark 速查表 3-3 Hive 函数速查表
根据气象局数据进行数据统计的平台。本项目只是一个课程设计，本项目有很多地方...系统利用Hive对清洗后的数据进行分析统计，并利用sqoop将数据导入到腾讯云TencentDB MySQL中储存。最后利用腾讯云图进行大数据展示。
7. **数据库集成**：Java可以与各种数据库系统（如MySQL、PostgreSQL或NoSQL数据库如MongoDB）集成，用于存储和检索大数据。JDBC（Java Database Connectivity）是Java连接数据库的标准接口，使得数据存取更为便捷。...
数据存储技术：包括传统的关系型数据库（如MySQL、PostgreSQL）、NoSQL数据库（如MongoDB、Cassandra）以及数据湖（Data Lake）等存储技术。 数据可视化工具：如Tableau、Power BI、D3.js等，用于将数据转换为图表...
数据存储技术：包括传统的关系型数据库（如MySQL、PostgreSQL）、NoSQL数据库（如MongoDB、Cassandra）以及数据湖（Data Lake）等存储技术。 数据可视化工具：如Tableau、Power BI、D3.js等，用于将数据转换为图表...
标题中的"基于MySQL的大数据实时计算方案"是指利用MySQL数据库的特性，结合其他技术手段，实现对大量数据的实时或准实时处理。这种方案通常用于处理高并发、高吞吐量的数据流，满足业务实时监控、多模式存储和异步...
通过上述知识点的学习和实践，后端开发者能提高SQL技能，同时，对于学习大数据的同学，掌握MySQL经典问题有助于更好地理解Hive的用法，提升在大数据环境下的SQL应用能力。通过解题和练习，可以深入理解这些概念并...
数据存储技术：包括传统的关系型数据库（如MySQL、PostgreSQL）、NoSQL数据库（如MongoDB、Cassandra）以及数据湖（Data Lake）等存储技术。 数据可视化工具：如Tableau、Power BI、D3.js等，用于将数据转换为图表...
深圳地铁大数据客流分析系统源码 该项目主要分析深圳通刷卡数据，通过大数据技术角度来研究深圳地铁客运能力，探索深圳地铁优化服务的方向； 强调学以致用，本项目的原则是尽可能使用较多的常用技术框架，加深对各...
在第一个联通大数据项目——移动终端上网数据实时分析处理系统中，开发环境包括IDEA、Eclipse、Maven、JDK，系统架构由Hadoop、Zookeeper、Flume、Spark、Hive、MySQL、Sqoop和Oracle组成。此项目中，数据通过FTP...
大数据项目之手机app信息统计分析系统 本系统旨在收集和分析手机APP的使用情况，提供实时的统计数据，以便APP开发商和数据服务平台提供商更好地了解用户行为和喜好，从而提高APP的用户体验和服务质量。本系统主要...
这些数据可能存储在MySQL、Oracle等传统数据库中，也可能使用Redis、MongoDB等NoSQL数据库。 - **挑战**：处理高并发访问和大规模数据的采集。 2. **数据预处理**：将采集的数据导入集中式的大数据存储系统，如...
1. **基础知识**：课程要求学员事先了解大数据技术的基本概念，如大数据处理架构Hadoop、列族数据库HBase、数据仓库Hive、关系型数据库MySQL以及数据处理和分析语言R。同时，学员需熟悉Windows和Linux操作系统的基础...
它涵盖了从基础的大数据环境构建到高级的数据处理技术，以及如何解决实际竞赛中的问题。以下是对手册内容的详细解读： 首先，手册深入浅出地介绍了大数据环境的搭建。在大数据处理中，一个稳定、高效的工作环境是至...
在这个课程设计中，学生将学习如何利用Hadoop来解决大数据的存储和处理问题。 【描述】提到的"爬虫项目，python"是指使用Python语言进行网络爬虫的开发。Python因其简洁的语法和丰富的第三方库，如BeautifulSoup和...