-
每秒最高有30万的数据，如何处理，构架设计方案？0
假设有这样一个场景，有一个临时缓冲区，每秒最高的时候有30万条数据在那，最少也有7万条数据每秒，现在程序需要取出数据并且做出计算和汇总，计算和汇总完成后将计算和汇总结果存入数据库，并且实时将每条记录存入数据库中。
1. 一直从缓冲区取数据
2. 一直计算汇总，并入库
3. 一直存储数据记录
大家有没有好点的方案？2012年7月25日 23:10
添加评论
关注(1)1个答案 按时间排序 按投票排序
-
1.分页循环读取缓存区数据。
2.汇总的条件是什么，时间还是别的什么？建议采用静态变量保存中间结果，汇总完毕后入库。
3.入库和读取类似。
循环分页入库。2012年7月26日 08:51
相关推荐
本《大数据处理平台构架设计说明书》旨在详细阐述如何构建一个高效、稳定且具有高度可扩展性的大数据处理平台。文档涵盖了平台的设计目标、范围、预期读者、参考文献以及关键术语和缩写的解释，旨在为技术团队提供...
《大数据处理平台构架设计说明书》旨在详细阐述一个高效、可扩展的大数据处理系统的构建方法。此文档将探讨从系统概述、设计约束到具体架构设计的各个层面，以期为互联网行业的数据分析提供有力的技术支持。 1.2 ...
大数据处理平台构架设计说明书是针对现代企业及组织在海量数据环境下进行有效分析与决策的重要指导文档。大数据处理平台的核心目标是实现数据的高效存储、快速处理和深度挖掘，为业务运营提供支持。本篇文章将深入...
### 大数据处理平台构架设计之用户画像技术解析 #### 一、引言 随着信息技术的迅猛发展，数据已成为连接虚拟与现实世界的桥梁。在大数据时代，如何有效利用这些海量数据成为企业和组织关注的焦点。本文将详细介绍...
### 数据仓库技术构架及方案 #### Teradata简介与市场地位 Teradata是一家在数据仓库领域具有领导地位的企业，其于2007年10月1日在纽约证券交易所上市，股票代码为“TDC”。根据Gartner的研究报告，自1999年起，...
在云时代，数据中心基础构架解决方案扮演着至关重要的角色，以应对不断增长的数据量和数字化转型带来的挑战。随着“中国天眼FAST”等高科技项目的实施，数据生成速度呈现出指数级增长，例如每小时100TB的数据量，这...
数据交换共享中心设计方案是一种整合协同平台，旨在提供一种安全、可靠、高效的数据交换机制，实现多来源渠道的数据融合处理、实时数据和历史数据的组织、数据服务的提供、权限管理和安全性保障等功能。该平台能够...
综上，蓝带啤酒销售组织构架设计方案应考虑以上各个方面，通过合理的组织架构设计，强化销售控制，降低风险，实现销售业绩的稳定增长。同时，配合营销管理信息系统，提升整体运营效率，确保企业战略目标的达成。
DW2.0下一代数据仓库的构架
CISCO_数据中心IP网络构架设计
3. **数据流与控制流**：理解数据如何在系统中流动以及控制流程如何执行，这有助于确定处理的顺序和并发策略。 4. **服务定位与发现**：在分布式系统中，服务定位和发现机制对于系统的可扩展性和容错性至关重要。 ...
### 数据治理总体设计方案2024 #### 一、数据管理的现状 1. **多头管理问题**：由于组织内部各个部门独立运作，导致数据管理责任分散且缺乏统一的监督与控制机构。这种分散式的管理模式使得数据管理规程、标准等...
### 浅析系统构架设计考虑 #### 一、与构架有关的几个基本概念 在探讨系统架构设计之前，我们需要先了解一些基本的概念，这些概念对于理解整个系统架构至关重要。 1. **模块(Module)**：模块是软件工程中最基本的...
系统构架设计是软件开发过程中的关键步骤，它定义了软件系统的整体结构、组件划分以及它们之间的交互方式。本文将深入探讨系统构架设计的重要性和其中涉及的关键因素，同时也会提及开发文档在这一过程中的作用。 一...
构架设计是软件开发过程中的核心环节，它关乎到整个系统的稳定性和可扩展性。高端实现的构架设计，不仅需要关注技术选型，还要深入理解业务需求，以确保系统在满足当前需求的同时，能够适应未来的变更。在这个过程中...
数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是数据治理的关键、重点。数据生命周期管理包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。主数据是指组织机构核心系统间的...
企业大数据处理平台技术方案建议书主要关注如何构建高效、可靠且具有创新性的大数据处理系统，以应对企业日益增长的数据量和复杂的数据分析需求。以下是基于文档内容的关键知识点的详细阐述： 1. **系统设计方案...