分布式计算思路(第一季:001)
1.粗粒度:应用采取分布式,也就是把应用放在多台机器上,并采用集群的机构,它是基于每一个IP进行分配。
2.中粒度:我个人认为,应该是线程级别的,每一个程都会对应到相对的应用。
3.细粒度:这个应该是基于CPU级别,每一条运算指令都可以分配到相应的集群中的CPU上。
对于粗粒度,也就是目前很成熟的多层架构中采用的集群。
中粒度和细粒度其实听说的比较少。
感觉还是基于概念比较多一些,当然还有采用分布式文件系统的方式,但是这个比较常见在淘宝类或者搜索引擎类的使用中。
我对于中细粒度比较感兴趣,毕竟是概念多一些。
这里就说说的自己的想法:(这两个合在一起说)
首先最好保证机器之间是光纤连接,这样能够支持大数据量的IO操作。
暂时抛开高可用性,我们基于原理来探讨一下。
1:开发语言应该是支持多内核的语种。
2:开发语言最终应该运行在类似JVM的RunTime上。
3:RunTime这一层对于CPU资源应该是充分的利用。
4:有完善的IO操作机制。
大概的原理是对于每一条指令,都会被分配到一个独立的进程(或者线程),然后由Runtime将该操作指令分配到CPU有空闲的服务器上,由该服务器负责处理。
处理后返回结果。
如果架构设计的合理的话,对服务器的架构也会产生一定的影响,比如服务器的配置,传统硬盘和固态硬盘的采用等。。。
当然只是一个大概,我会在随后的文章中逐渐完善各个部分的思路。
包括网络的设计,CPU空闲算法,RUNTIME的框架。
这里感谢http://lzy.iteye.com/
是他给了我具体的思路:)
同时感谢CCTV,MTV
呵呵,希望我能够完成这个万里路。
分享到:
相关推荐
Hadoop+Spark大数据技术(微课版)曾国荪、曹洁版思维导图第三章 MapReduce分布式计算框架 (核心思想:“分而治之”)
分布式计算是现代信息技术领域中的一个重要概念,它涉及多个计算节点通过网络协同工作,共同处理大量数据和执行复杂的任务。在“华工分布式计算实验”中,我们能够学习和实践这一核心技术,这对于计算机科学的学习者...
2020最新-03_第三阶段 spark体系之分布式计算.txt
1. **Hadoop**:一个开源的分布式计算框架,包括HDFS(分布式文件系统)和MapReduce(分布式计算模型)。 2. **Spark**:基于内存计算的分布式计算引擎,支持批处理、交互式查询、实时流处理等多种计算模式。 3. *...
分布式计算是计算机科学中的一个重要领域,它涉及到多台计算机协同工作以解决单台机器难以处理的大型或复杂问题。在“分布式计算课件(PPT)”中,我们可以期待深入学习这一领域的核心概念和技术。 首先,分布式对象...
北邮 分布式计算课件 教师:邹华 第二章:middleware
分布式计算是现代信息技术领域中的一个重要概念,它涉及多个计算机节点通过网络协同工作,共同处理复杂的任务,以提高计算效率和系统可扩展性。本资源包括《分布式计算》的第二版电子书以及相应的阅读软件,这对于...
分布式计算是一种将大型计算任务分解成可由不同计算机完成的小块任务的技术,通过网络整合各个计算节点的结果,从而实现计算资源共享和效率提升。本文主要介绍了两种实现分布式计算的方法:Java RMI(Remote Method ...
分布式计算是计算机科学中的一个重要领域,它涉及到多台计算机协同工作以解决大型计算问题。西安电子科技大学计算机学院的课程在这一领域提供了丰富的实践机会,通过五次上机实验,学生可以深入理解并掌握分布式计算...
分布式计算是一种计算机科学领域的核心技术,它涉及多个独立的计算节点通过网络进行协同工作,共同解决一个大型或复杂的计算问题。这种技术充分利用了网络中的多台机器的计算资源,以提高系统的处理能力、可靠性和可...
分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算...
分布式计算是计算机科学中的一个重要领域,它涉及到在多台计算机之间协调和执行任务,以解决单个计算机无法处理的大规模问题。这份“分布式计算讲义”来自微软亚洲研究院,是为清华大学学生准备的一份课程材料,包含...
Java网络编程与分布式计算是IT领域中的重要主题,它涵盖了如何使用Java语言设计和实现网络应用程序,以及在大规模系统中进行高效数据处理和资源分配。本文将深入探讨这两个关键概念,帮助你理解Java在网络编程中的...
分布式计算系统是一种高级的计算机架构,它通过网络连接多台计算机,协同完成大规模的计算任务。这个"分布式计算系统(中文)ppt"包含了12个章节,全面地讲解了分布式计算系统的各个方面,对于理解并掌握这种技术至关...
【分布式系统中的面向对象技术】是北京邮电大学邹华教授在分布式计算课程第四章讲解的重点内容。在分布式计算环境中,面向对象技术扮演着至关重要的角色。传统的面向对象技术主要包含封装、继承和多态这三大特性,它...
分布式计算,作为现代信息技术领域中的一个重要分支,指的是将计算任务分布在多个计算机上进行处理的一种计算模式。这种模式能够充分利用网络中各节点的计算资源,提高计算效率,解决大规模数据处理、复杂算法计算等...
在这个压缩包中,我们可以期待找到一系列与分布式计算系统相关的教学资料。 分布式计算系统的主要目标是提高系统的性能、可伸缩性和可靠性。通过将任务分解到多个计算节点,它能够处理比单个计算机更大的负载,并在...
分布式计算是一种计算机科学领域的技术,它通过网络连接多台计算机,共同处理一个大型任务或数据集,以此提高计算效率和可扩展性。本PPT详细介绍了分布式计算的基础知识、架构和应用,对于想要深入理解这一领域的...
分布式计算是一种处理大规模数据集和复杂计算任务的技术,它通过在网络中的多台计算机上分配工作负载,实现并行处理和高可用性。在《分布式计算电子书-数学》中,虽然具体的章节和内容未详细给出,但我们可以推测这...
在“清华大学分布式计算教程(Google名师讲解)”中,我们可以期待学习到这一领域的核心理论和实践应用。这个教程由Google的专家进行讲解,结合了清华大学的教学资源,将为学习者提供深入的洞察力和实践经验。 教程...