`
zhaomiaojun
  • 浏览: 5756 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

分布式数据库框架设计构想

阅读更多

    最近参与了一个项目,数据量都比较大,每天的点击量都十几万左右,访客数量也在万余左右,于是就碰到了这么一个问题,是关于分库存储的问题。

 

    水平分库存储问题其实并不罕见,几乎访问量达的应用都会碰到这个问题,而且也有很多解决方案,比如amoeba就是其中一个不错的解决方案,还有基于DB的,比如 memcache_db 。

 

    虽然它们实现了大部分分布式数据库存储上的问题,比如多数据的连接池,I/O,通信等,但是在使用中并不是特别满意,因为它并没有很好的解决数据分布均衡,数据库扩展问题。

 

    于是有了这个构想,在amoeba的基础上,或者直接从jdbc上从新开始设计编写,一个能满足以上问题的框架,它更倾向于:

 

一、分布算法,有一个合理的算法来支持数据的分布规律,以便查找

二、均衡算法,来均衡分布各个数据库的数据

三、扩展算法,支持数据存储服务器的扩展性,不应数据库服务器的增减影响而导致数据迁移

 

    这只是大致想法,等细化一下,就动手开始做

2
1
分享到:
评论

相关推荐

    分布式架构网上商城--论文_new.zip

    它涵盖了从系统构想到实现的全过程所需的各类材料,包括论文、设计文档、源代码等,旨在为开发者提供一套完整、高效的参考和指导。 包含内容: 论文:详细阐述了为何选择SpringBoot作为开发框架、系统的总体设计...

    Google论文

    BigTable论文,发表于2006年,介绍了Google设计的大型分布式数据库——BigTable。BigTable是一种NoSQL数据库,专门用于存储和检索海量结构化数据。它基于GFS之上构建,通过列族、行键和时间戳的概念,提供了灵活的...

    淘宝海量数据服务平台:架构与实践

    1. **数据存储**:采用多种存储技术,如分布式文件系统、分布式数据库等,来存储不同类型的海量数据。 2. **数据处理**:通过高效的处理框架,例如MapReduce、Spark等,实现对大规模数据的快速处理。 3. **数据挖掘*...

    家谱管理系统设计报告.doc

    实现方法则可能涉及到所选用的技术栈,如数据库管理系统、前端框架、编程语言等,以及如何将这些技术整合到系统中。 第四章“详细设计”深入探讨了系统各个功能的具体实现。功能构想部分可能包括系统的主要功能模块...

    大数据下医疗健康架构设想.docx

    云管理层涉及文件分布式系统和大数据管理,这是未来数据驱动公司不可或缺的部分。尽管目前可能尚未达到大规模需求,如超过500万用户,但公司已采用Oracle数据库进行数据管理。未来,数据库将被划分为运营数据库、...

    公司系统代码

    这部分内容可能包含系统的设计理念、界面原型、用户流程图等,帮助团队成员和利益相关者理解系统的整体构想和用户体验。 【项目文档.doc】则很可能是一份详细的项目文档,涵盖了项目的需求分析、系统设计、开发过程...

    数据中心建设方案(简版).pdf

    - **存储与计算中心**:建立统一数据模型,统一数据存储和计算,包含关系数据库、非关系数据库、分布式文件系统和分布式计算,确保数据的一致性和安全性。 - **数据共享服务**:通过标准接口提供数据服务,促进...

    大数据平台基础介绍.pptx

    如Hadoop生态系统中的YARN提供资源调度,HBase和Cassandra提供NoSQL数据库服务,Spark提供更快速的计算框架,Kafka实现流数据处理。此外,随着云计算的发展,大数据平台也逐渐云化,如AWS的EMR、Azure的大数据服务等...

    基于J2EE的B2C电子商务系统开发(论文+系统+开题报告+文献综述+任务书+答辩PPT+中期报表+外文文献+说明书).rar

    "论文"部分将深入探讨技术细节,包括J2EE的组件模型(如Servlet、JSP、EJB)、数据库设计(如商品管理、订单处理、用户信息存储)、安全机制(如SSL加密、会话管理)、以及系统性能优化策略。此外,可能还会讨论系统...

    基于ASP.NET技术的动态IT培训网站的设计与实现

    【基于ASP.NET技术的动态IT培训网站设计与实现】这篇开题报告主要探讨了ASP.NET在构建动态网页和IT培训网站中的应用。随着TCP/IP技术的普及,Web站点已成为信息发布的主流方式,而传统的静态网页技术已无法满足日益...

    advanced java networking

    - Java中的RMI框架简化了分布式对象的创建和使用,允许开发者像调用本地方法一样调用远程对象的方法。 3. **公共对象请求代理架构(CORBA)**: - CORBA是一种跨语言、跨平台的标准,用于定义对象间通信的规范。 -...

    邮政大数据Hadoop平台技术标书

    **总体解决方案建议书**中提出了针对邮政大数据平台的整体构想和技术框架。其中,**系统管理架构**部分详细介绍了系统的管理层次结构,包括但不限于用户管理、权限管理、系统监控等功能,确保平台能够高效、稳定地...

    cloud_contest:第一届高校云计算创新应用大赛

    在云计算环境中,Java发挥着至关重要的作用,尤其是通过Java EE(企业版)框架,可以构建分布式、高性能的云应用。 1. **JVM与跨平台**:Java的运行基于Java虚拟机(JVM),这使得Java程序能在任何支持JVM的平台上...

Global site tag (gtag.js) - Google Analytics