分布式计算热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

第1名
wy_19921005
第2名
mft8899
第3名
java-007
Anmin

年度博客排行

变而不变：我看分布式系统发展和阿里实践

大数据计算服务(MaxCompute)是一种快速、完全托管的PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大数据平台，支撑每日百万级作业规模。 MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。相对而言，Reshuffle数据需要落盘，因为Resuff ...

大数据数据仓库分布式计算

iyulang 评论(0) 有9人浏览 2017-04-05 23:06

PKI技术能否保障云计算的安全与可信？

由于互联网的急速发展，存储、计算机能量消耗，数据急剧增长，成本也随之升高，原始的互联网系统与服务设计已经不能解决上述种种问题，互联网急需新的解决方案。2007年一个称为“云计算”的概念首次被Google提出，这是一个美丽的网络应用模式。随后，这一IT技术风暴席卷了整个IT界，为全球IT界带来了一场全新的变革。云计算是在分布式计算(DistributedComputing)、网格计算(Grid ...

云计算分布式计算工信部解密安全

WS_Daniel 评论(0) 有545人浏览 2014-10-13 17:49

Hadoop-- 海量文件的分布式计算处理方案

csdn的一个关于hadoop的分布式处理方案，存档。原帖：http://blog.csdn.net/calvinxiu/article/details/1506112。 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， M ...

hadoop mapreduce 分布式计算

datamachine 评论(0) 有1023人浏览 2013-10-15 13:46

如何设计一个实时流计算系统

实时流计算的场景归纳起来多半是：业务系统根据实时的操作，不断生成事件（消息/调用），然后引起一系列的处理分析，这个过程是分散在多台计算机上并行完成的，看上去就像事件连续不断的流经多个计算节点处理，形成一个实时流计算系统。市场上流计算产品有很多，主要是通过消息中枢结合工人模式实现，大致过程如下： 1、开发者实现好流程输入输出节点逻辑，上传job到任务生产者 2、任务生产者将任务发送到zoo ...

流计算分布式计算并行计算

fourinone 评论(6) 有4904人浏览 2013-08-11 11:56

fourinone-3.04.25最新版升级发布

fourinone-3.04.25最新版升级内容: 1、编译和运行环境升级为jdk7.0版本； 2、计算中止和超时中止的支持，比如多台计算机工人同时执行查找，一旦某台计算机工人找到，其余工人全部中止并返回。以及可以由工人控制或者框架控制的计算过程超时中止。 3、一次性启动多工人进程支持，可以通过程序api一次性启动和管理“ParkServer/工头/工人”多个进程，并附带良好的日志输出功能，用于代替 ...

分布式计算并性计算云计算

fourinone 评论(4) 有3151人浏览 2013-04-25 16:32

利用Gearman，搭建异步分布式计算平台

分布式计算平台extensionperl

分布式计算平台 extension perl php

abc123456789cba 评论(0) 有3232人浏览 2013-04-08 00:01

从赌钱游戏看PageRank算法

谈到并行计算应用，会有人想到PageRank算法，我们有成千上万的网页分析链接关系确定排名先后，借助并行计算完成是一个很好的场景。长期以来，google的创始发明PageRank算法吸引了很多人学习研究，据说当年google创始者兴奋的找到yahoo公司，说他们找到一种更好的搜索引擎算法，但是被yahoo公司技术人员泼了冷水，说他们关心的不是更好的技术，而是搜索的盈利。后来google包装成了“更先 ...

并性计算算法数据挖掘分布式计算云计算

fourinone 评论(1) 有3129人浏览 2013-03-27 14:09

3月14日圆周率日—使用并行计算求圆周率π

关于圆周率大家再熟悉不过了：我们从课本上学习到早在一千多年前，祖冲之将圆周率计算到3.1415926到3.1415927之间…计算机诞生后，计算圆周率被用来� ...

hadoop 并行计算分布式计算云计算集群管理

fourinone 评论(1) 有6001人浏览 2013-03-14 15:09

计算过程中的故障和容灾处理

使用Fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下：总的来说，Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃，框架通常会捕获所有的错误反馈给开发者去处理，但是框架本身不自作主张，替开发者考虑处理方案，只有这样框架才能从特定场景中抽象出来，给开发者更灵活的发挥和去满足各种更复杂业务容错情况。那么框 ...

分布式计算并行计算 hadoop zookeeper

fourinone 评论(0) 有2400人浏览 2013-03-04 13:29

云计算服务的层次

云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。 IaaS(Infrastructure-as-a- Service)：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。 PaaS(Platform-as-a- Service)：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以Sa ...

saas laas paas 云计算分布式计算

hejiajunsh 评论(0) 有1884人浏览 2013-02-04 09:49

使用并行计算大幅提升递归算法效率

前言：无论什么样的并行计算方式，其终极目的都是为了有效利用多机多核的计算能力，并能灵活满足各种需求。相对于传统基于单机编写的运行程序，如果使用该方式改写为多机并行程序，能够充分利用多机多核cpu的资源，使得运行效率得到大幅度提升，那么这是一个好的靠谱的并行计算方式，反之，又难使用又难直接看出并行计算优势，还要耗费大量学习成本，那就不是一个好的方式。由于并行计算在互联网应用的业务场景都比较复杂， ...

算法 java 并行计算分布式计算递归

fourinone 评论(1) 有7794人浏览 2012-12-19 10:28

fourinone分布式协调设计解析

分布式协同是分布式应用中不可缺少的，通常担任协调者的角色，或者说是将多机协同的职责从分布式应用中独立出来，以减少系统的耦合性和增强扩充性。Apache的Zookeeper, google的Chubby都是分布式协同的实现者。fourinone实际上可以单独当做Zookeeper用，它使用最少的代码实现了Zookeeper的所有功能，并且力图做到功能更强但是使用更简洁。一、实现原理 fourino ...

云计算分布式计算分布式协调 hadoop zookeeper

fourinone 评论(4) 有4056人浏览 2012-11-06 16:26

大数据机遇和挑战

本ppt完整介绍了大数据的背景、机遇和挑战,并且相关的落地技术和业界状况,为大数据的研究提供全面的参考

大数据并行计算分布式计算云计算云存储

fourinone 评论(0) 有1703人浏览 2012-10-09 10:32

分布式计算多机部署与配置

在分布式计算上手demo，分布式计算sayhello，分布式计算完整demo中, 对于工人（worker）、工头(ctor)，parkserver在多台计算机上的部署和配置：每台计算机放� ...

hadoop 并行计算分布式计算 zookeeper 云计算

fourinone 评论(3) 有3454人浏览 2012-07-19 18:21

CORBA学习与实践

1、简述：来自百度百科的一个描述，CORBA（Common Object Request Broker Architecture,公共对象请求代理体系结构，通用对象请求代理体系结构）是由OMG组织制订的 ...

corba 分布式计算

美丽的小岛评论(3) 有2185人浏览 2012-07-18 21:36

分布式计算互相sayhello

假设你已经看过分布式计算上手demo指南,对fourinone基本的分布式并行计算方式有了初步了解。本demo演示了工头和几个工人之间互相sayhello的简单例子，从而了解到集群计算节点之间互相交互，以及工头批量处理和工人互相传递数据（多用于合并）的功能。 HelloCtor：是一个工头实现，它实现giveTask接口，它首先通过getWaitingWorkers获取到一个线上工人的集合，然 ...

hadoop 并行计算分布式计算 zookeeper 云计算

fourinone 评论(0) 有2646人浏览 2012-06-28 10:55

分布式计算自动部署

对于一个分布式计算的应用,如果不需要自动部署，将工头工人程序文件分别部署到相应机器运行即可,不需要过多配置。 fourinone2.0可以支持自动化class和jar包部署,class和jar包只需放在工头机器上，各工人机器会自动获取并执行，兼容操作系统，不需要进行安全密钥复杂配置. 假设有一个分布式计算job，包括三个程序文件： JobCtor:包工头实现 JobWorker：农民工实现 J ...

hadoop 并行计算分布式计算 zookeeper 集群部署

fourinone 评论(0) 有2846人浏览 2012-06-26 17:43