`

第12章 分布式计算

阅读更多

1.         对于海量小文件,采用MapReduce方式分布式框架计算,例如可以分布式统计日志。

MapReduce:是Google 的分布式计算框架,主要是使用让数据和任务进行分解。

Map让不同的计算机同时去执行部分数据和任务。

Reduce产生中间结果集,并把所有中间结果结进行汇总,产生最终的结果集返回给计算调用者。

2.         对于文件下载和升级,文件数目很多的情况下,使用P2P的方式,将压力分算到不同客户端中,这种方式比较适合IM软件。

3.         对于客户端比较多,并且下载文件比较大,并且数据达到千万的时候,例如网络游戏等,将采用中心索引的方式。

 

读后感:该章节简单介绍了,分布式计算的方式,根据用户数量的多少,和下载文件的数量,分析了将采用分布式的方案。

分享到:
评论

相关推荐

    吉林大学胡亮教授编写《分布式计算》

    第十二章 基于对象的分布式系统:这部分可能涉及面向对象技术在分布式系统中的应用,如远程方法调用(RMI)、CORBA等,以及对象的序列化和反序列化。 通过学习这些章节,读者将能够理解分布式计算的核心原理,掌握...

    第十二章 分布式数据库系统.ppt

    分布式数据库系统的研究始于20世纪70年代中期,经过大约十年的时间,取得了重大进展,提出了许多新的概念和技术,如IBM的System R*、美国计算机公司的SDD-1、德国斯图加特大学的POREL和法国的SIRIUS-DELTA等先驱系统...

    HCIA-Big_Data(大数据)PPT教材V2.0.zip

    第04章Spark2x基于内存的分布式计算Pptx 第05章HBase分布式NoSQL据车pptx 第06章Hive分布式数据仓库Pptx 第07章Streaming分布式流计算引擎pptx 第08章Flink流计算处理和处理平台pptx 第09章Loader数据转换pptx 第10...

    大数据培训 ppt,内容丰富

    01第一章大数据行业与技术趋势。pdf 02第二章分布式文件...12第十一章Redis内存数据库.pdf 13第十三章华为大数据解决方案pdf 大数据技术与应用V1.0实验环境搭建指南。pdf 大数据技术与应用V1.0实验手册(学生版)pdf

    算法与数据结构 分布式算法课程 全部课程PPT资源课件 共13个章节.rar

    【课程大纲】 第01章 简介 共68页.pdf 第02章 分布式算法简介 共59页.pdf 第03章 集群领导选举 分布式锁 共83页....第12章 ASM - Peterson’s算法 共43页.pdf 第13章 实用互斥算法.具有读-修改-写操作的算法 共72页.pdf

    分布式系统领域教程pdf

    第12章 分布式系统的应用 12.1 分布式操作系统 12.1.1 服务器结构 12.1.2 八种服务类型 12.1.3 基于微内核的系统 12.2 分布式文件系统 12.2.1 文件存取模型 12.2.2 文件共享语义 12.2.3 文件系统合并 ...

    大数据技术原理与应用实验

    第二章 分布式文件系统HDFS 45 实验五 HDFS Shell命令使用 45 实验六 Eclipse开发插件配置 64 实验七 HDFS Java API编程 69 第三章 分布式协调服务系统ZooKeeper 75 实验八 Zookeeper安装部署 75 实验九 Zookeeper ...

    分布式系统概念与设计(第五版)课后题答案

    2. **第二章:网络基础** - OSI七层模型:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层的功能。 - IP协议:IP地址的分类、子网掩码和路由选择。 - TCP与UDP的区别:TCP的可靠性和流量控制,UDP...

    第九章-网络与分布式操作系统优秀文档.ppt

    4. **计算模型**:分布式计算模型涉及如何在多台机器上分配和协调任务。这可能包括并行计算,其中任务被分解为子任务在多个处理器上同时运行,以提高计算速度。 5. **分布式协同**:分布式协同是指多个节点通过网络...

    第3章-分布式数据库系统概论.ppt

    到了二十世纪七十年代中期,E. F. Codd提出了关系数据库。随着计算机科学技术的发展和现代通信技术的飞速发展,计算机网络开始兴起。这个时期,世界上先后建成了许多规模巨大的、全国性的广域计算机网络,对经济、...

    华为HCIA-Big Data V2.0 LVC公开课培训.rar

    第十二章 ZooKeeper集群分布式协调服务 12.1_ZooKeeper简介-与组件的关系 第十三章 FusionInsight HD 解决方案介绍 13.1_FusionInsight概述-FusionInsight特性介绍 13.2_FusionInsight HD 成功案例

    算法与数据结构 分布式算法课程 第12章 ASM - Peterson’s算法 共43页.pdf

    在第12章中,主要讨论了异步共享内存系统(Asynchronous Shared-Memory Systems)中的关键问题和解决方案。异步共享内存系统是一种常见的分布式计算模型,在这种模型中,多个进程通过共享内存进行通信,并且这些进程...

    中间件技术原理与应用

    二、第l章中间件产生背景及分布式计算环境 第2章面向对象中间件oDP 第3章com相关技术 第4章J2EE技术 第5章CORBA初步 第6章CORBA服务 第7章中间件中的事务处理 第8章coRBA高级技术 第9彦无线、移动中间件 第10章反射...

    Ceph分布式存储实战.pdf

    第12章提供了多个Ceph应用案例,包括CephFS、RBD和RGW在不同环境中的应用。 第13章讲述了Ceph运维与排错,包括集群扩展、维护、监控以及常见的错误和解决方案。 全书通过实战案例逐步深入,从基础安装到集群管理、...

    分布式系统 概念与设计 习题答案(完整版).

    2. 分布式计算模型:如MapReduce,是一种用于大规模数据处理的编程模型,将复杂任务分解为映射(Map)和化简(Reduce)两部分,适合大规模数据集的并行处理。 3. 分布式一致性:强一致性、弱一致性和最终一致性是...

    分布式系统设计 [美]jie wu著 高传善 译

    第12章 分布式系统的应用 12.1 分布式操作系统 12.1.1 服务器结构 12.1.2 八种服务类型 12.1.3 基于微内核的系统 12.2 分布式文件系统 12.2.1 文件存取模型 12.2.2 文件共享语义 12.2.3 文件系统合并 ...

Global site tag (gtag.js) - Google Analytics