`

为什么需要分布式?

阅读更多

根据摩尔定律,计算机的CPU性能每18m就会提升一倍,但由晶体管设计性能在已经达到物理上的极限(我在想,如果不改变(改革)怎么能适应现代运算储存的需求?)在05年,这个定律已经不攻自破,使得程序员要更加关注硬件性能问题,才问实现复杂的系统。

 

所以现在CPU都以multi cores来变通达到性能上的提升。另外,现在internet技术的广泛应用,产生的数据是海量的,最简单的例子就是SE了.鉴于这些,人们已经不再厚望于利用若干台高性能机器来实现复杂的系统,现在的大型编程模型都是大多要求分布计算,分布储存的并行性,分发性要求(如云计算等等)。同时我又想,即使你有一台超级计算机,形如1t内存,16核心CPU,100p硬盘等作为master,但如果万一这台机器遇到不测,整个数据中心就完蛋了,损失无法估计(特别是在核心军事部门等)。所以这就要求spare功能的master。正如老师说的:最好的记忆也不如一块难笔头!

 

幸好,现在的分布式系统对计算机的性能要求都不高,普通商用机器即可。这就使得人们对分布式设计和使用的的门槛大大降低。(实话说,如果没有java,全球将有多少人失业?java的诞生产生的影响影响深远;如果没有lucene或其它相关工具,你小子想全文检索,简直梦话,难道还是sql的like吗?;如果没有hadoop,你想实现分布式计算、存储?可以说,现在的开源软件使后来的我们在技术门槛上很常低,有时可以说0门槛,只要是一个人+一台能上网的pc就行了,呵呵。(想当年,华罗庚说,因为数学简单呀,只要一张纸,一支笔和一个脑袋就可以了)。

 

同时这些软件又相互促进,java的出现诞生了大批如struts,spring,jboss,lucene等东西;相反因为lucene,hadoop等的使用,又促进了java成为top 1编程语言的post。

 

两者,因为这些大型计算的实现,为智能化技术的发展提供了可靠数据支撑。

 

我想,为什么有个广告老说:采用intel移动计算技术...终于明白了。

现代数据海量的增加,这也是采用分布存储的原因之二呀;有了存储还缺什么?那就是计算,怎么利用这些数据进行充分分析整合利用。存储,计算都有了,缺什么?那就是在这基础上的分析,如hive,mahout等。有了这些还缺什么?缺管理,协调工具 ,那就是zk。

 

anyway,存储-》计算-》协调-》分析-》收集?大体上的流程都出来了。

最后说一句,在这十年,分布式技术和智能化技术终将是一个主流!

 

 

 

 

分享到:
评论
1 楼 jpsb 2016-10-08  

相关推荐

    14_分布式搜索引擎的架构是怎么设计的?为啥是分布式的?.zip

    为什么需要分布式搜索引擎呢?主要原因是随着互联网信息爆炸式增长,单机搜索引擎已经无法满足存储和处理数据的需求,而分布式系统能够通过多台计算机的协同工作来扩展处理能力,实现高可用性和高并发。 分布式搜索...

    zk:redis分布式锁.zip

    分布式锁是一种在分布式系统中实现锁机制的技术,用于在多节点之间协调访问共享资源,确保在高并发环境下数据的一致性和完整性。本压缩包“zk:redis分布式锁.zip”提供了基于Zookeeper(zk)和Redis两种分布式锁实现...

    分布式架构基础讲义

    5. **分布式计算**:分布式计算允许将大型计算任务分解为多个小任务,在多台机器上并行处理,从而加速计算。MapReduce是经典的分布式计算模型,由Google提出,Hadoop MapReduce是其开源实现。此外,Spark提供内存...

    分布式架构

    分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构...

    42_分布式锁是啥?对比下redis和zk两种分布式锁的优劣?.zip

    - 如果更注重锁的可靠性和公平性,以及需要监控和管理分布式系统的场景,Zookeeper更适合。 **总结** Redis和Zookeeper作为两种常用的分布式锁实现方式,各有优缺点。在实际应用中,应根据业务需求和系统特性来选择...

    分布式之分布式ID篇生成算法详解

    以用户数据为例,从单体架构转到分布式架构时,需要将用户ID从数据库自增ID换成分布式ID吗?显然不用。 那么,究竟什么情况下需要用到分布式ID呢?最经典的场景是分库分表,还是以用户数据来举例子,之前只有一张...

    JMETER分布式部署实践详解.rar

    01JMETER 为什么需要分布式 02JMETER分布式原理 03jmeter 配置 slave 代理压测机 04jmeter 配置master控制器压测机 05JMETER分布式部署注意事项 06JMETER SLAVE和MASTER 分布式启动压测 07JMETER 分布式踩过的坑及填...

    40丨如何设计更优的分布式锁?.html

    40丨如何设计更优的分布式锁?.html

    41丨如何设计更优的分布式锁?.html

    41丨如何设计更优的分布式锁?.html

    33节点含分布式电源配电网的程序.zip_33节点_33节点 潮流_分布式配电_含分布式潮流_含分布式电源

    总的来说,"33节点含分布式电源配电网的程序"是一个强大的工具,它结合了电力系统理论、分布式能源和数值计算技术,为理解和管理现代电力网络提供了一个实用的平台。对于电力系统的研究者、工程师以及相关领域的学生...

    C语言实现分布式算法

    C语言中可以使用rand()函数生成随机数,但需要使用srand()函数对随机数种子进行初始化。 三、蒙特卡罗方法 蒙特卡罗方法是一种常用的分布式算法,用于解决复杂的数学问题。该方法基于随机采样原理,通过生成大量的...

    分布式(分布式专业书的课件)

    分布式系统是计算机科学中的一个重要领域,它涉及到多台计算机通过网络协同工作,共同完成一个大任务。...通过深入研究,你将能够设计和构建出高效、可靠的分布式应用,为你的IT职业生涯打下坚实的基础。

    Maven构建的分布式demo

    Maven作为Java项目管理工具,为构建分布式应用程序提供了强大的支持。本篇将深入探讨如何利用Maven来构建一个简单的分布式系统。 首先,我们从最基础的Maven工程开始。Maven的项目对象模型(Project Object Model,...

    分布式事物.txt

    微服务分布式事物视频详解,TCC,BASE,MQ,2PC,最终一致

    分布式存储发展现状.docx

    分布式存储系统主要经历了四个阶段:第一代分布式存储系统(1980 到 1990),第二代分布式存储系统(1990 到 1995),第三代分布式存储系统(1995 到 2000),第四代分布式存储系统(2000 至今)。 第一代分布式...

    分布式计算环境课件 分布式

    分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算...

    分布式数据库--30讲

    分布式数据库30讲 分布式数据库是指使用分布式架构实现的关系型数据库。它可以解决许多问题,如性能和可靠性问题。由于各种原因,大型机已经不再是多数企业的可选项,而采用 x86 架构的通用设备在单机性能和可靠性...

    分布式原理与源码

    总的来说,分布式原理与源码的学习涵盖了理论和实践两个层面,不仅需要理解分布式系统的基础概念,还需要掌握相关的编程技能。通过阅读书籍和研究源码,开发者可以提升自己在构建大规模、高性能系统方面的专业能力。...

    Alibaba分布式核心原理解析.pdf

    分布式计算是一种将计算任务分布在多台计算机上执行的计算方法,其目的是提高计算效率、提升数据处理能力和系统的可靠性。...解决这些难题需要对分布式系统原理有深刻的理解,同时也需要不断地探索和创新。

Global site tag (gtag.js) - Google Analytics