根据摩尔定律,计算机的CPU性能每18m就会提升一倍,但由晶体管设计性能在已经达到物理上的极限(我在想,如果不改变(改革)怎么能适应现代运算储存的需求?)在05年,这个定律已经不攻自破,使得程序员要更加关注硬件性能问题,才问实现复杂的系统。
所以现在CPU都以multi cores来变通达到性能上的提升。另外,现在internet技术的广泛应用,产生的数据是海量的,最简单的例子就是SE了.鉴于这些,人们已经不再厚望于利用若干台高性能机器来实现复杂的系统,现在的大型编程模型都是大多要求分布计算,分布储存的并行性,分发性要求(如云计算等等)。同时我又想,即使你有一台超级计算机,形如1t内存,16核心CPU,100p硬盘等作为master,但如果万一这台机器遇到不测,整个数据中心就完蛋了,损失无法估计(特别是在核心军事部门等)。所以这就要求spare功能的master。正如老师说的:最好的记忆也不如一块难笔头!
幸好,现在的分布式系统对计算机的性能要求都不高,普通商用机器即可。这就使得人们对分布式设计和使用的的门槛大大降低。(实话说,如果没有java,全球将有多少人失业?java的诞生产生的影响影响深远;如果没有lucene或其它相关工具,你小子想全文检索,简直梦话,难道还是sql的like吗?;如果没有hadoop,你想实现分布式计算、存储?可以说,现在的开源软件使后来的我们在技术门槛上很常低,有时可以说0门槛,只要是一个人+一台能上网的pc就行了,呵呵。(想当年,华罗庚说,因为数学简单呀,只要一张纸,一支笔和一个脑袋就可以了)。
同时这些软件又相互促进,java的出现诞生了大批如struts,spring,jboss,lucene等东西;相反因为lucene,hadoop等的使用,又促进了java成为top 1编程语言的post。
两者,因为这些大型计算的实现,为智能化技术的发展提供了可靠数据支撑。
我想,为什么有个广告老说:采用intel移动计算技术...终于明白了。
现代数据海量的增加,这也是采用分布存储的原因之二呀;有了存储还缺什么?那就是计算,怎么利用这些数据进行充分分析整合利用。存储,计算都有了,缺什么?那就是在这基础上的分析,如hive,mahout等。有了这些还缺什么?缺管理,协调工具 ,那就是zk。
anyway,存储-》计算-》协调-》分析-》收集?大体上的流程都出来了。
最后说一句,在这十年,分布式技术和智能化技术终将是一个主流!
分享到:
相关推荐
为什么需要分布式搜索引擎呢?主要原因是随着互联网信息爆炸式增长,单机搜索引擎已经无法满足存储和处理数据的需求,而分布式系统能够通过多台计算机的协同工作来扩展处理能力,实现高可用性和高并发。 分布式搜索...
分布式锁是一种在分布式系统中实现锁机制的技术,用于在多节点之间协调访问共享资源,确保在高并发环境下数据的一致性和完整性。本压缩包“zk:redis分布式锁.zip”提供了基于Zookeeper(zk)和Redis两种分布式锁实现...
5. **分布式计算**:分布式计算允许将大型计算任务分解为多个小任务,在多台机器上并行处理,从而加速计算。MapReduce是经典的分布式计算模型,由Google提出,Hadoop MapReduce是其开源实现。此外,Spark提供内存...
分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构体系描述 分布式架构...
- 如果更注重锁的可靠性和公平性,以及需要监控和管理分布式系统的场景,Zookeeper更适合。 **总结** Redis和Zookeeper作为两种常用的分布式锁实现方式,各有优缺点。在实际应用中,应根据业务需求和系统特性来选择...
以用户数据为例,从单体架构转到分布式架构时,需要将用户ID从数据库自增ID换成分布式ID吗?显然不用。 那么,究竟什么情况下需要用到分布式ID呢?最经典的场景是分库分表,还是以用户数据来举例子,之前只有一张...
01JMETER 为什么需要分布式 02JMETER分布式原理 03jmeter 配置 slave 代理压测机 04jmeter 配置master控制器压测机 05JMETER分布式部署注意事项 06JMETER SLAVE和MASTER 分布式启动压测 07JMETER 分布式踩过的坑及填...
40丨如何设计更优的分布式锁?.html
41丨如何设计更优的分布式锁?.html
总的来说,"33节点含分布式电源配电网的程序"是一个强大的工具,它结合了电力系统理论、分布式能源和数值计算技术,为理解和管理现代电力网络提供了一个实用的平台。对于电力系统的研究者、工程师以及相关领域的学生...
C语言中可以使用rand()函数生成随机数,但需要使用srand()函数对随机数种子进行初始化。 三、蒙特卡罗方法 蒙特卡罗方法是一种常用的分布式算法,用于解决复杂的数学问题。该方法基于随机采样原理,通过生成大量的...
分布式系统是计算机科学中的一个重要领域,它涉及到多台计算机通过网络协同工作,共同完成一个大任务。...通过深入研究,你将能够设计和构建出高效、可靠的分布式应用,为你的IT职业生涯打下坚实的基础。
Maven作为Java项目管理工具,为构建分布式应用程序提供了强大的支持。本篇将深入探讨如何利用Maven来构建一个简单的分布式系统。 首先,我们从最基础的Maven工程开始。Maven的项目对象模型(Project Object Model,...
微服务分布式事物视频详解,TCC,BASE,MQ,2PC,最终一致
分布式存储系统主要经历了四个阶段:第一代分布式存储系统(1980 到 1990),第二代分布式存储系统(1990 到 1995),第三代分布式存储系统(1995 到 2000),第四代分布式存储系统(2000 至今)。 第一代分布式...
分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算...
分布式数据库30讲 分布式数据库是指使用分布式架构实现的关系型数据库。它可以解决许多问题,如性能和可靠性问题。由于各种原因,大型机已经不再是多数企业的可选项,而采用 x86 架构的通用设备在单机性能和可靠性...
总的来说,分布式原理与源码的学习涵盖了理论和实践两个层面,不仅需要理解分布式系统的基础概念,还需要掌握相关的编程技能。通过阅读书籍和研究源码,开发者可以提升自己在构建大规模、高性能系统方面的专业能力。...
分布式计算是一种将计算任务分布在多台计算机上执行的计算方法,其目的是提高计算效率、提升数据处理能力和系统的可靠性。...解决这些难题需要对分布式系统原理有深刻的理解,同时也需要不断地探索和创新。