`
achan2090
  • 浏览: 4171 次
  • 性别: Icon_minigender_1
  • 来自: 广州
最近访客 更多访客>>
社区版块
存档分类
最新评论

分布式架构策略思考

 
阅读更多

 

一直在了解互联网的大数据高并发的架构,以及所采用的各种优化策略。

在建设初期,可以先从两方面进行考虑:

 

一、数据库设计策略。从数据库的扩展性来说,是考虑数据可以方便的进行垂直划分和水平划分,即:

 

垂直切分(Vertical Partition/Sharding):就是把不同格式的数据,存储到不同的数据库,也叫分库

水平切分(Horizontal Partition/Sharding):就是把相同的数据格式的数据,存储到不同的数据库,本文将侧重这点进行讲述,也叫分表

要理解和记忆这两种切分方式,可以大脑回忆一下你的数据库表,横向是字段说明,竖向是记录数据,因此,垂直切分意味是要划垂直的线将表的字段分成几块,也即一张表分成N张不同字段的表;水平切分意味着水平划线,将数据记录分成几块,各块的数据字段其实是一样的,只是记录数值不同。

 

 

1.考虑到后期数据量大的情况。在数据库设计时就要考虑分库,比如同样是新闻信息,就考虑为时政新闻、娱乐新闻

、体育新闻等等建立各自的新闻表,从而达到方便存储的目的

 

2.考虑到中后期访问量大的情况。设计时考虑分表,比如对娱乐新闻,可以根据日期,人物等字段拆分成多种表来存储,从而提高查询的速率。

 

3、综合上面2种情况,可以综合使用。当数据量达千万,并发量上万的适合,考虑建立缓存表。就是在实际表和用户之间在搭建一个临时表,访问数据时,首先访问临时表,如果不存在,则进入实际表中获取,然后放入缓存表中,同时会通过后台线程,定时将缓存表数据同步到实际数据库中,同步时间可以针对系统要求来进行。

 

二、程序优化策略。搭建系统,需要认真考虑选择合适框架,当然公司或者个人的时间能力精力都够多的话,可以考虑自己开发系统框架。

 

1.框架建设

1.Structs2+Spring3+Hibernate3 3个框架搭建的系统每一年都在更新,不断有变化和进步,这种搭配最适合构建企业信息系统,而要应用于互联网大访问量和高并发量的Web系统, 还是比较吃力,需要进一步采 取多种优化策略,如静态化,缓存数据,JS压缩等等。

 

2.Spring MVC 根据网上对当前热门的几个框架的测试信息得出,Springcontroller还是比Structs的效率高一点,Spring的数据库操作手段Jdbctemplate是对JavaJDBC的简单封装,操作SQL效率是肯定比Structs结合Hibernate效率高。

 

3.Spring+Hibernate 该配合的架构访问效率和开发效率都比较不错,适合企业开发和互联网开发。

 

4.Spring+JPA(Hibernate) 该配合框架效率在目前开看,效率非常不错,最合适互联网应用,个人非常推荐。

 

2.静态化。推荐使用的框架有freemakervelocity

 

3.数据缓存。

  • 大小: 31.1 KB
分享到:
评论

相关推荐

    分布式架构关键设计与实践探索.pdf

    分布式架构的设计与实践,不仅涉及技术层面的考量,还包括对业务模式、组织结构、管理流程等方面的全面转型思考。 系统分层解耦是分布式架构设计的关键,其核心目标是实现处理能力的线性扩展。具体而言,分布式架构...

    滴滴出行高并发高性能的分布式架构设计之道

    滴滴出行在构建其分布式架构时,可能就以上这些方面进行了深入的思考和实践。通过定制化和优化现有开源技术,如RPC框架、分布式协调服务等,滴滴实现了高效处理高并发请求的能力。同时,他们可能还构建了强大的监控...

    工商银行分布式云计算运维转型思考与实践.pdf

    工商银行作为国内最大的商业银行之一,在数字化转型的过程中,积极推进分布式云计算运维转型。本文将深入探讨其在转型过程中所面临的挑战、主要思路与实践以及未来的风险与挑战,并提出相应的发展策略。 1. 转型...

    分布式能源系统发展思考.pdf

    为了迎头赶上,我们需要对分布式能源系统的发展进行深入思考和策略规划,包括加强技术研发、优化政策环境、完善基础设施建设,以及推动市场机制的创新。只有这样,才能充分发挥分布式能源的优势,推动我国能源结构的...

    【Hadoop与大数据38】构建生态化分布式数据库架构体系(陶勇)

    阿里巴巴对于分布式数据库架构的发展有着长远的规划和深入的思考,包括: - **产品架构闭环建设**:当前正在构建中,旨在形成一个完整的产品生命周期管理框架。 - **OLTP(联机事务处理)与OLAP(联机分析处理)的...

    OceanBase 1.0:分布式技术架构.pdf

    《OceanBase 1.0:分布式技术架构》深入解析 OceanBase 1.0是一款分布式数据库系统,以其可扩展性、高可用性和低成本而著称。该系统在数据存储、分布式查询以及高可用性方面展现出独特的优势,尤其适用于大规模、高...

    基于预分区策略的装备数据分布式存储方法.pdf

    1. 装备数据的分布式存储需求:随着传感器技术与计算机技术的进步,装备研制与生产过程中产生的数据量日益增长,这促使企业必须思考如何对这些海量、多源和异构的数据进行有效管理。分布式存储技术正是为了解决这一...

    基于Python和C_C++的分布式计算架构.zip

    8. 并行算法设计:在分布式环境中,需要重新思考和设计算法,以适应数据的分布特性,比如MapReduce模型用于大规模数据处理,而图形计算中的GPGPU(通用图形处理器计算)也可以利用Cuda或OpenCL在GPU上实现并行计算。...

    关于分布式光伏发电行业银行授信策略和风险防控措施的一些思考.pdf

    分布式光伏发电行业近年...总的来说,分布式光伏发电行业的银行授信策略需综合考虑行业特性、市场环境、政策导向和项目本身的经济效益,既要抓住行业发展机遇,又要充分识别和控制潜在风险,以保障银行信贷资产的安全。

    2013年中国数据库大会-09-主流开源NoSQL及分布式存储的应用与思考

    1. 开源NoSQL数据库的发展和应用:NoSQL数据库是近年来随着大数据和云计算技术的发展而迅速崛起的一种数据库解决方案,其主要特点是去除了关系数据库的关系特性,采用非关系型数据模型,支持可扩展的分布式架构。...

    对分布式数据挖掘解决方案的思考.pdf

    以上知识点综合了分布式数据挖掘解决方案的基本概念、主要工具、应对大数据挑战的策略、以及对未来数据挖掘方向的前瞻性思考。在进行大数据分析和数据挖掘时,这些知识点能够为研究人员和从业者提供宝贵的信息和指导...

    深圳电网分布式电源与用户侧储能技术实践与思考.pdf

    根据提供的文件信息,本知识点将围绕深圳电网分布式电源与用户侧储能技术的实践和思考进行阐述,包含新能源、分布式电源、微电网技术、运行策略、经济性分析及发展趋势等方面的内容。 首先,可再生能源是当前能源...

    分布式数据库文章精选.docx

    - **运维变化**: 分析了分布式架构对传统数据库运维带来的影响。 - **技能升级**: 探讨了运维人员需要掌握的新技能和技术栈。 #### 六、亲身感悟:业务系统数据库向开源和分布式过渡,运维人员要 Get 哪些技能? - ...

    阿里巴巴中台技术架构实践与思考5 .pdf

    为了解决这些问题,阿里巴巴开始转向分布式架构,包括分布式调用(如HSF、Dubbo、MQ)、分布式数据库(如TDDL、AliSQL)以及服务注册与调度等技术。这个阶段面临的挑战主要是开源技术的不成熟和X86服务器性能的局限...

    智能配电网中分布式电源并网的思考.pdf

    并网保护则需要设计出适应分布式电源特性的保护策略,防止电网故障时出现大规模停电。电能质量管理关注的是分布式电源并网后对电压、频率波动的影响,确保电力质量的稳定。\n\n在智能配电网规划中,分布式电源的整合...

    关于分布式供能系统容量配置与运行策略设计的思考.pdf

    必须打破以往仅关注发电机组的设计思路,从系统的角度出发,全面考虑设备间的匹配和运行策略,才能确保分布式供能系统的长期稳定运行和社会、节能、环境效益的最大化。同时,设计人员需要充分了解当地的气候条件、...

    厦门市天然气分布式能源专项规划编制实践与思考.pdf

    - 规划提出了综合效益分析、市政规划对接、项目风险分析、规划实施策略等保障措施,以确保规划的顺利实施。 7. 环境效益 - 天然气作为清洁能源,其大规模应用有助于减少雾霾和PM2.5等大气污染问题,改善空气质量...

    阿里巴巴中台技术架构实践与思考 .pdf

    4. **中台演进历程**:从单一Java应用到分布式架构,再到平台化和中台化,阿里巴巴经历了从IOE(IBM、Oracle、EMC)架构向分布式、开源技术的转变,以降低成本并提升系统性能。在这个过程中,他们克服了开源技术不...

    现代存储技术方案及策略思考.docx

    - 长期发展考虑,应适时增加资金投入,规划构建适应业务需求的数字资源存储架构。 3. 信息存储策略: - 标准化:采用标准格式保证信息的完整性和转换效率,有利于长期存取。 - 选择性:针对不同类型的数字资源,...

    百度林仕鼎:架构设计的一些思考

    根据提供的标题、描述以及部分文档内容,我们可以提炼出关于架构设计的重要知识点,主要涉及存储、分布式、服务和计算模型等方面。 ### 架构设计的重要考量因素 #### 1. **存储设计** - **数据布局**:数据如何在...

Global site tag (gtag.js) - Google Analytics