`
javawl
  • 浏览: 27943 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

数据库大数据量解决方案(转)

 
阅读更多

随着业务量的增大, 数据库DB服务器的负载现在维持在50-70%之间, 期间也开始出现些问题, 虽然马上解决了, 但是优化性能的问题已经迫在眉睫!
  根据我和同事的讨论, 现在有两种方案可取:
  一: 根据业务来拆分, 把当前DB的表根据功能的不同分别放到不同的数据库中, 如用户信息相关的放到A 用户信息DB服务器中, 资金相关的放到B 资金DB服务器中, 还有Log, 物品等也需要放到不同DB那里. 这种方式简单, 估计一星期可以搞定, 再加上测试, 对我们本来时间就不是很充裕的情况下来说, 可行性比较大, 但是, 考虑到原来DB中有许多事务是同时需要处理用户、资金和其他信息的, 现在分散在不同DB中, 这个事务的完整性等是个麻烦!
  二:另外一种考虑方式就是,根据用户来分, 每10W用户一个DB服务器,建立一个索引数据库, 引导不同用户去访问该用户所在的DB, 共通的数据可以放在一个服务器上,如果这些共通的数据也很多的话, 可以根据不同情况再来拆分(以我们网站为例,具体也是100种网络游戏一个DB,这样300个网络游戏的交易信息可以分散在3个DB), 前期不考虑业务上的划分, 就是说方案一中的用户信息相关表和资金信息表、LOG表在每个DB都有, 但是因为对每个DB操作的用户分散在不同的DB中, 也可以优化性能。 就是这种方案需要花费的时间会多一点。 不过, 因为这种方式, 每个DB和共通数据所在DB的数据有点冗余, 我考虑用触发器来维持同步, 不过感觉触发器的效率不是很高... 所以还在考虑其他更好的方法!

分享到:
评论

相关推荐

    mysql数据库大数据量导入导出多种方法

    mysql数据库大数据量导入导出多种方法,该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法

    大数据量处理的解决方案

    大数据量处理的解决方案主要聚焦在如何有效地管理和分析海量数据,以提供实时的商业洞察。Style Intelligence的敏捷商业智能平台在这一领域展现出了显著的优势。该平台通过创新的技术,如内存数据库、高速分布式存储...

    数据库7种类型解决方案

    本文将详细介绍七种数据库解决方案:高可用性解决方案、灾难恢复解决方案、实时数据复制解决方案、数据压缩功能、大量数据管理、数据库管理工具、数据库安全。 高可用性解决方案(High Availability Solution): 高...

    spring Batch实现数据库大数据量读写

    Spring Batch 是一个强大的、可扩展的Java框架,专门用于处理批量数据处理任务,包括大量数据库数据的读取、处理和写入。它被设计为在企业级应用中处理大规模、高吞吐量的工作负载。本篇文章将深入探讨如何利用...

    ACCESS数据库大数据量分页的几种方法比较及测试结果分析

    ACCESS 数据库大数据量分页的几种方法比较及测试结果分析 本文解决的问题:1.ACCESS 是否存在更有效率的分页方法?2.现有 ACCESS 大数据量 10 万条数据分页的效率测试3.ACCESS 的数据承载量到底有多大? ACCESS ...

    数据库大型应用解决方案总结

    数据量大时同步效率低,可能导致性能下降。 在实际应用中,结合负载均衡和读写分离,可以显著提升大型应用的数据库性能。但需要注意,这两种方法都有其局限性,例如数据实时性和同步效率问题,因此在设计时需根据...

    Mellanox横向扩展数据库解决方案.pdf

    Mellanox 横向扩展数据库解决方案 Mellanox 横向扩展数据库解决方案是基于 Mellanox 56Gb/s ...Mellanox 横向扩展数据库解决方案能够提供高性能和高可用性的数据库解决方案,满足大规模数据存储和处理的需求。

    sqlserver数据库大型应用解决方案

    在应对大型应用的数据库解决方案中,SQLServer提供了负载均衡和读写分离等策略,以适应高并发和大数据量的需求。通过合理利用这些技术,不仅可以提升系统的稳定性和响应速度,还能确保数据的一致性和安全性。然而,...

    几类关系型数据库的数据解决方案.docx

    本文主要讨论了几种主流的关系型数据库——Oracle、MySQL以及PostgreSQL在数据解决方案上的特点和策略。 首先,Oracle数据库是企业级数据库的代表,其11gR2版本占据了市场的主导地位。Oracle Data Guard是Oracle...

    数据库数据量数据库数控

    综上所述,"数据库数据量数据库数控"涵盖了一系列数据库管理和优化的技术,包括但不限于数据规模管理、性能监控、安全控制、大数据处理以及云服务等。通过深入了解和实践这些知识点,我们可以更有效地管理和利用海量...

    Orip基于内存数据库的海量数据实时处理解决方案样本.doc

    实时数据处理面临着一些挑战,包括数据量大的挑战、数据处理速度的挑战和系统可靠性的挑战等。Orip解决方案可以满足这些挑战,提供高性能的数据处理能力和低延迟的数据访问速度。 知识点8: 数据处理的未来发展 数据...

    数据库同步热备解决方案(某区政府)

    数据库同步热备解决方案是保障数据安全和业务连续性的重要手段,尤其在政府机构等关键领域,数据的安全性和可用性更是至关重要。本方案针对某区政府的需求,旨在提供一套完整的数据库同步和热备份策略,确保在主...

    AWS全球数据库解决方案三剑客.pptx

    在本篇文章中,我们将探讨 AWS 全球数据库解决方案的“三剑客”,即 Aurora 全球数据库、DynamoDB 全球表和 ElastiCache 全球数据存储。这些解决方案能够满足全球数据库的需求,提供高性能、可扩展性和高可用性。 ...

    AWS全球数据库解决方案三剑客.pdf

    AWS全球数据库解决方案的“三剑客”是指Amazon Aurora全球数据库、DynamoDB全局表和ElastiCache全球数据存储,它们是AWS提供的一系列创新技术,旨在解决全球数据库部署中的挑战,为用户提供高性能、高可用性和低成本...

    100亿数据量1万属性数据库架构设计

    因此,架构设计的目标是构建一个既能处理大数据量、高并发,又能支持灵活查询的数据库系统。 为了解决这些问题,可以采用以下几个关键架构设计策略: 1. **分库分表策略**:由于单个数据库难以支撑100亿的数据量和...

    NetApp为微软数据库平台提供新的存储解决方案

    此外,NetApp的解决方案还支持向上扩展和向外扩展,以满足企业对TB级大型SQL Server数据库的需求,并通过整合SQL Server数据和删除未使用的存储空间来降低总体成本。 NetApp的解决方案还具有自动化数据管理功能,能...

    数据仓库解决方案指南

    数据仓库解决方案的实现需要经过四个步骤:数据库设计、数据抽取和转换、数据加载和更新、查询和报表生成。每个步骤都需要进行精心的设计和规划,以确保数据仓库解决方案的成功实现。 然而,数据仓库解决方案也存在...

    Oracle数据仓库解决方案.pptx

    Oracle 9i数据库作为数据仓库的核心,提供了集成的OLAP和数据挖掘功能,增强了处理大数据量的能力。例如,通过分区技术,可以有效地管理和查询大量数据;并行处理和RAC(Real Application Clusters)提供了高可用性...

    银行核心系统分布式数据库解决方案.pdf

    GoldenDB是一个典型的分布式数据库解决方案。它采用了share-nothing架构,提供传统关系型数据库OLTP的所有特性,并且改变了传统数据库集中存储的限制,采用分布式架构进行存储。GoldenDB能够提供企业级安全、智能...

Global site tag (gtag.js) - Google Analytics