`
lao_lee
  • 浏览: 96707 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

也谈高并发、大数据

 
阅读更多

高并发

 

谈到高并发,恐怕已经是老生常谈了吧,每家公司都会津津乐道,但是也都没有什么太多的原创技术。我总结下来就是三个方面:

 

网络层面:

智能DNS可以根据请求的IP把请求分配到离用户“最近”的服务器上(也就是CDN)

LVS,一个最简单的负载均衡器,提供一个虚IP,然后把打到虚IP的请求分配到具体的服务器上。

 

缓存层面:

CDN缓存 - 有了CDN技术,可以把静态页面缓存到CDN上 - 解决网络问题。

数据缓存 - memcached,把数据用key-val对的形式缓存到内存里。

数据库缓存 - OR-mapping解决方案需要把数据库的内容缓存到二级缓存上。

 

数据库层面:

读写分离 - 解决并发访问太多的问题。利用了数据库自身的binlog实时复制机制,主库写,从库读。

分库(shading)- 解决一个表内数据太多的问题。

 

 

分享到:
评论

相关推荐

    java-大数据基础面试思考.pdf

    在高并发的场景下,这种结构的访问效率会受到链表长度的影响。为了提高性能,现代版本的HashMap引入了红黑树来优化哈希冲突的处理。 谈到Java集合类,不得不提的就是迭代器(Iterator)。迭代器是Java集合框架中...

    浅谈大数据技术对建筑企业信息化管理的影响.docx

    大数据技术涵盖了分布式计算、高并发处理、高可用处理、集群以及实时计算等多个方面,使得处理TB级乃至PB、EB级数据成为可能,打破了传统数据处理的局限。 在建筑企业中,大数据的应用主要集中在财务、合约、人力...

    浅谈大数据

    通过这些技术的组合使用,阿里巴巴成功地构建了支持大规模数据处理和高并发请求的系统架构。 从文章内容中可以推断,阿里巴巴的去IOE之路涉及了多方面的技术更新和优化。其中包括硬件的升级换代,软件技术的革新,...

    高并发开源软件WAF在企业安全实战中的探索.pdf

    回到起点谈需求 WAF的要求指标是什么 开源WAF的起源 开源WAF产品 开源WAF产品优点 开源WAF产品缺点 框架服务 基出平台的发展历程 测试实践 测试实践-串行 测试实践-并行 测试实践-串并同行 测试实践-靶机设定 WAF的...

    ArchSummit北京 2016年全球架构师峰会PPT合集(84份).zip

    如何实现高并发高可用的选购系统---选购系统架构设计实践 大规模下的存储解决方案和迁移实例分析 高可用架构演进 高可用建设之路 数据中心网络的高可用架构 打造千亿级分布式存储平台 大数据平台的技术演进与实践 ...

    原腾讯云架构师谈可扩展系统的入门基础

    总的来说,一个可扩展的系统需要考虑负载均衡以应对高并发,利用数据缓存提升性能,通过离线处理处理大数据任务,并且通过平台化实现架构的灵活性和复用。这些是成为出色架构师的基础,也是构建云架构的核心要素。

    数据库新技术与新应用--mongodb.docx

    在大数据时代,传统的关系型数据库(如 MySQL、Oracle)在处理海量、高并发的数据时,往往面临性能瓶颈。为了解决这一问题,NoSQL(Not Only SQL)数据库应运而生。NoSQL 不是单一的技术,而是涵盖了多种不同类型的...

    [原创]从数据仓库到数据湖——浅谈数据架构演进1

    这些数据具有高并发、实时性要求和复杂关联性,需要高效的数据处理和分析能力来支持网络优化、客户服务和市场洞察。 10. 演进路径实践 从数据仓库到数据湖的演进,企业通常会经历混合架构阶段,结合传统数据仓库的...

    浅谈CORBA技术在分布式异构数据库的应用.pdf

    这种技术可以有效应对数据量激增带来的检索性能下降问题,同时解决了单机数据库难以处理高并发IO操作的挑战。异构性体现在计算结构、数据库系统和操作系统三个方面,允许不同类型的数据库在各种环境下协同工作,实现...

    浅谈分布式数据库系统架构.pdf

    - 全局事务管理集群:管理全局事务的申请、释放以及状态列表的维护,在高并发场景下进行全局事务的组申请和组释放。 分布式数据库技术发展的趋势反映了从单机型数据库向分布式数据库的转变,这种转变强调了以下几个...

    浅谈分布式数据库架构.pdf

    这种架构特别适用于大规模的互联网应用,如大型社交网络、电子商务平台、在线游戏等,这些应用往往面临海量数据处理和高并发访问的需求。 然而,分布式数据库架构的实现和管理相对复杂,需要解决数据一致性、节点间...

    数据库专家谈MySQL分片.pdf

    MySQL分片是应对大数据存储和高并发访问的一种解决方案,尤其在处理大规模数据时,分片能够将数据分散到多个物理数据库上,以提高查询速度和系统性能。然而,是否需要采用分片策略并非一概而论,需要根据实际业务...

    浅谈大数据处理技术架构的演进 (2014年)

    2. **高吞吐量**:Storm设计用于处理大规模数据流,能够在高并发环境下保持稳定性能。 3. **容错性**:Storm支持自动故障恢复机制,确保数据处理过程中的容错能力。 4. **灵活可扩展**:Storm架构设计灵活,易于...

    浅谈云计算技术在医院资产管理系统的应用.pdf

    4. 系统稳定性和高可用性:云计算平台的高可用性保证了医院资产管理系统在面临高并发操作时仍然能够稳定运行,降低系统故障带来的风险。 5. 数据安全性和完整性:云计算平台通常会提供比传统IT架构更为强大的数据...

    Python性能优化经验谈.zip

    在Python编程领域,性能优化是一项至关重要的任务,尤其是在处理大数据、科学计算或高并发场景时。本资料"Python性能优化经验谈"将深入探讨如何提升Python程序的运行效率,使其在资源消耗上更加高效。以下是对PDF...

    新浪架构师谈微博架构

    - **高并发访问**:尤其是在热门事件发生时,短时间内涌入大量访问请求,需要确保系统稳定性。 - **信息安全保障**:面对日益复杂的网络安全环境,如何保护用户信息不被泄露显得尤为重要。 - **解决方案**: - **...

    浅谈云计算与数据中心计算 (2).pdf

    它通过整合数千乃至上万台服务器,构建起强大的计算和存储资源池,以满足用户对海量数据处理和高并发任务的需求。这种技术的应用范围广泛,从数据处理到人工智能,再到物联网和智慧城市,极大地推动了社会各领域的...

    hashdata公司和产品介绍

    作为云端数据仓库的典型案例,美国第一资本采用了Snowflake的数据仓库服务,其优势在于高并发、弹性伸缩和高可用性。另一家案例公司NTTDOCOMO都科摩采用了Redshift服务,其优势在于高性能、安全性和敏捷性。 总结来...

    浅谈计算机操作系统的发展历史.docx

    另一方面,随着多核处理器和分布式系统的普及,操作系统需要具备更强的并发处理能力和任务调度能力,以支持大规模并行计算。 在安全性方面,操作系统需要不断强化自身的防护机制,防止恶意软件和病毒的入侵,同时...

    著名IT公司首席架构师梁岳传博士谈C++的发展

    C++的发展也与云计算、物联网(IoT)、大数据等新兴技术紧密结合,为这些领域的高性能、低延迟需求提供解决方案。 在安全方面,梁岳传博士提到了SSH(Secure Shell)的重要性。SSH是远程系统管理的标准工具,尤其在...

Global site tag (gtag.js) - Google Analytics