博客首页 → 分布式计算

最新文章列表

变而不变：我看分布式系统发展和阿里实践

大数据计算服务(MaxCompute)是一种快速、完全托管的PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大数据平台，支撑每日百万级作业规模。 MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。 相对而言，Reshuffle数据需要落盘，因为Resuff ...
大数据数据仓库分布式计算 
iyulang 评论(0) 有9人浏览 2017-04-05 23:06

PKI技术能否保障云计算的安全与可信？

由于互联网的急速发展，存储、计算机能量消耗，数据急剧增长，成本也随之升高，原始的互联网系统与服务设计已经不能解决上述种种问题，互联网急需新的解决方案。2007年一个称为“云计算”的概念首次被Google提出，这是一个美丽的网络应用模式。随后，这一IT技术风暴席卷了整个IT界，为全球IT界带来了一场全新的变革。 云计算是在分布式计算(DistributedComputing)、网格计算(Grid ...
云计算分布式计算工信部解密安全 
WS_Daniel 评论(0) 有531人浏览 2014-10-13 17:49

Hadoop-- 海量文件的分布式计算处理方案

csdn的一个关于hadoop的分布式处理方案，存档。 原帖：http://blog.csdn.net/calvinxiu/article/details/1506112。     Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， M ...
hadoopmapreduce分布式计算 
datamachine 评论(0) 有1014人浏览 2013-10-15 13:46

如何设计一个实时流计算系统

实时流计算的场景归纳起来多半是： 业务系统根据实时的操作，不断生成事件（消息/调用），然后引起一系列的处理分析，这个过程是分散在多台计算机上并行完成的，看上去就像事件连续不断的流经多个计算节点处理，形成一个实时流计算系统。 市场上流计算产品有很多，主要是通过消息中枢结合工人模式实现，大致过程如下： 1、开发者实现好流程输入输出节点逻辑，上传job到任务生产者 2、任务生产者将任务发送到zoo ...
流计算分布式计算并行计算 
fourinone 评论(6) 有4882人浏览 2013-08-11 11:56

fourinone-3.04.25最新版升级发布

fourinone-3.04.25最新版升级内容: 1、编译和运行环境升级为jdk7.0版本； 2、计算中止和超时中止的支持，比如多台计算机工人同时执行查找，一旦某台计算机工人找到，其余工人全部中止并返回。以及可以由工人控制或者框架控制的计算过程超时中止。 3、一次性启动多工人进程支持，可以通过程序api一次性启动和管理“ParkServer/工头/工人”多个进程，并附带良好的日志输出功能，用于代替 ...
分布式计算并性计算云计算 
fourinone 评论(4) 有3127人浏览 2013-04-25 16:32

利用Gearman，搭建异步分布式计算平台

分布式计算平台extensionperl
分布式计算平台extensionperlphp 
abc123456789cba 评论(0) 有3220人浏览 2013-04-08 00:01

从赌钱游戏看PageRank算法

谈到并行计算应用，会有人想到PageRank算法，我们有成千上万的网页分析链接关系确定排名先后，借助并行计算完成是一个很好的场景。长期以来，google的创始发明PageRank算法吸引了很多人学习研究，据说当年google创始者兴奋的找到yahoo公司，说他们找到一种更好的搜索引擎算法，但是被yahoo公司技术人员泼了冷水，说他们关心的不是更好的技术，而是搜索的盈利。后来google包装成了“更先 ...
并性计算算法数据挖掘分布式计算云计算 
fourinone 评论(1) 有3102人浏览 2013-03-27 14:09

3月14日圆周率日—使用并行计算求圆周率π

关于圆周率大家再熟悉不过了： 我们从课本上学习到早在一千多年前，祖冲之将圆周率计算到3.1415926到3.1415927之间…计算机诞生后，计算圆周率被用来 ...
hadoop并行计算分布式计算云计算集群管理 
fourinone 评论(1) 有5981人浏览 2013-03-14 15:09

计算过程中的故障和容灾处理

使用Fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下： 总的来说，Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃，框架通常会捕获所有的错误反馈给开发者去处理，但是框架本身不自作主张，替开发者考虑处理方案，只有这样框架才能从特定场景中抽象出来，给开发者更灵活的发挥和去满足各种更复杂业务容错情况。 那么框 ...
分布式计算并行计算hadoopzookeeper 
fourinone 评论(0) 有2390人浏览 2013-03-04 13:29

云计算服务的层次

云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。 IaaS(Infrastructure-as-a- Service)：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。 PaaS(Platform-as-a- Service)：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以Sa ...
saaslaaspaas云计算分布式计算 
hejiajunsh 评论(0) 有1873人浏览 2013-02-04 09:49

使用并行计算大幅提升递归算法效率

前言： 无论什么样的并行计算方式，其终极目的都是为了有效利用多机多核的计算能力，并能灵活满足各种需求。相对于传统基于单机编写的运行程序，如果使用该方式改写为多机并行程序，能够充分利用多机多核cpu的资源，使得运行效率得到大幅度提升，那么这是一个好的靠谱的并行计算方式，反之，又难使用又难直接看出并行计算优势，还要耗费大量学习成本，那就不是一个好的方式。 由于并行计算在互联网应用的业务场景都比较复杂， ...
算法java并行计算分布式计算递归 
fourinone 评论(1) 有7780人浏览 2012-12-19 10:28

fourinone分布式协调设计解析

分布式协同是分布式应用中不可缺少的，通常担任协调者的角色，或者说是将多机协同的职责从分布式应用中独立出来，以减少系统的耦合性和增强扩充性。Apache的Zookeeper, google的Chubby都是分布式协同的实现者。fourinone实际上可以单独当做Zookeeper用，它使用最少的代码实现了Zookeeper的所有功能，并且力图做到功能更强但是使用更简洁。 一、实现原理 fourino ...
云计算分布式计算分布式协调hadoopzookeeper 
fourinone 评论(4) 有4041人浏览 2012-11-06 16:26

大数据机遇和挑战

本ppt完整介绍了大数据的背景、机遇和挑战,并且相关的落地技术和业界状况,为大数据的研究提供全面的参考
大数据并行计算分布式计算云计算云存储 
fourinone 评论(0) 有1687人浏览 2012-10-09 10:32

分布式计算多机部署与配置

在分布式计算上手demo，分布式计算sayhello，分布式计算完整demo中, 对于工人（worker）、工头(ctor)，parkserver在多台计算机上的部署和配置： 每台计算机放 ...
hadoop并行计算分布式计算zookeeper云计算 
fourinone 评论(3) 有3430人浏览 2012-07-19 18:21

CORBA学习与实践

1、简述：来自百度百科的一个描述，CORBA（Common Object Request Broker Architecture,公共对象请求代理体系结构，通用对象请求代理体系结构）是由OMG组织制订的 ...
corba分布式计算 
美丽的小岛 评论(3) 有2154人浏览 2012-07-18 21:36

分布式计算互相sayhello

假设你已经看过分布式计算上手demo指南,对fourinone基本的分布式并行计算方式有了初步了解。 本demo演示了工头和几个工人之间互相sayhello的简单例子，从而了解到集群计算节点之间互相交互，以及工头批量处理和工人互相传递数据（多用于合并）的功能。 HelloCtor：是一个工头实现，它实现giveTask接口，它首先通过getWaitingWorkers获取到一个线上工人的集合，然 ...
hadoop并行计算分布式计算zookeeper云计算 
fourinone 评论(0) 有2635人浏览 2012-06-28 10:55

分布式计算自动部署

对于一个分布式计算的应用,如果不需要自动部署，将工头工人程序文件分别部署到相应机器运行即可,不需要过多配置。 fourinone2.0可以支持自动化class和jar包部署,class和jar包只需放在工头机器上， 各工人机器会自动获取并执行，兼容操作系统，不需要进行安全密钥复杂配置. 假设有一个分布式计算job，包括三个程序文件： JobCtor:包工头实现 JobWorker：农民工实现 J ...
hadoop并行计算分布式计算zookeeper集群部署 
fourinone 评论(0) 有2827人浏览 2012-06-26 17:43

淘宝分布式框架Fourinone2.0正式版发布

淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api，实现对多台计算机cpu，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有1921人浏览 2012-06-04 11:03

Fourinone2.0对分布式文件的简化操作

Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中，FttpAdapter提供对远程文件的操作，FileAdapter提供对本地文件的操作，两者api和使用相似，这 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(1) 有2722人浏览 2012-05-30 14:17

操作分布式文件之八：如何批量并行读写远程文件和事务补偿处理

FileBatch类提供了一系列对批量并行读写操作支持（包括对FttpAdapter和FileAdapter），它跟并行读写的区别是不需要检查结果，会等到所有并行读写任务全部 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有1978人浏览 2012-05-30 13:51

最近博客热门TAG

Java(141746) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics