博客首页 → 并行计算

最新文章列表

Fourinone架构原理ppt

Fourinone提供了一个4合1分布式框架和简单易用的编程api，实现对多台计算机cpu，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式（农民工/包工头/职介绍/手工仓库）用于利用多机多核cpu的计算能力；提供完整的分布式缓存和小型缓存用于利用多机内存能力；提供像操作本地文件一样操作远程文件（访问，并行读写，拆分，排它，复制，解析，事务等 ...
分布式计算并行计算hadoopzookeeper云计算 
fourinone 评论(5) 有8209人浏览 2012-04-27 10:11

淘宝Fourinone分布式计算框架性能、压力、容灾测试报告

Fourinone在去年11月在淘宝内部通过了压测，上亿排序和wordcount等经典指标均优于hadoop，这是一份长达10多页的详细测试报告(附件)
云计算并行计算分布式计算hadoopzookeeper 
fourinone 评论(4) 有5197人浏览 2012-02-27 14:18

Hadoop001-初识Hadoop

1，Hadoop是做什么的      1.1，Hadoop是一个开源的分布式并行计算系统，是对以前分布式文件系统和并行计算的封装和简化。因此用到分布式文件系统和并行计算可以考虑使用Hadoop。      1.2，分布式当然在存储大数据和海量数据上有优势      1.3，并行计算对处理大数据和海量数据有优势 2，为什么要学习Hadoop      2.1，自我感觉Java的SSH没有多大 ...
JavaHadoop分布式并行计算 
qianzheni 评论(0) 有864人浏览 2012-02-20 10:49

淘宝Fourinone和Hadoop的完整对比

  fourinone-1.11.09 hadoop-0.21.0 体积 82K 71M 依赖关系 就一个jar,没有依赖 约12项jar包依赖 配置 就一个配置文件 较多配置文件和复杂属性 集群搭建 简单，每台机器放一个jar和配置文件 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(2) 有2132人浏览 2011-12-07 11:50

用淘宝Fourinone实现Hadoop经典实例wordcount

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据：n个数据文件，每个1g大小，为了方面统计，每个文件的数据由“aaa bbb ... ccc”(由空格分割的1k单词组)不断复制组成。 输出数据：输出这n*1g个数据文件中的每个单词总数 fourinone简单实现思路，假设有n台计算机，将这n个1g数据文件放 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(2) 有1897人浏览 2011-12-07 11:46

<七>基于淘宝Fourinone实现MQ demo

FourInOne也可以当成简单的mq来使用，该demo演示了队列和主题订阅两种模式的实现 一、队列 将domain视为mq队列，每个node为一个队列消息，检查domain的变化来获取队列消息。 Sender：是一个队列发送者，他发送消息的实现是在queue上创建一个匿名节点来存放消息 pl.create(queue, (Serializable)obj); Receiver：是一个队列 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(1) 有2536人浏览 2011-12-07 11:36

<六>基于淘宝Fourinone实现分布式缓存demo

利用fourinone可以轻松实现分布式缓存功能： 1、中小应用的缓存实现：直接启动一个parkserver，分别在两个java进程中使用ParkLocal的create和get方法即可实现缓存的读写操作。 2、如果是大型网站的缓存，单台parkserver的压力不能承受，需要建立多台CacheServer，并且使用CacheFacade进行负载均衡，CacheFacade会根据key自动寻找存 ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(0) 有2511人浏览 2011-12-07 11:34

<五>基于淘宝Fourinone实现分布式锁demo

LockDemo是利用fourinone进行分布式锁的实现： 可以启动多个LockDemo实例，每个实例在fourinone上建立一个自己的node, node的domain为lock， node的值为node 然后再轮循判断domain lock的第一个元素是否是自己的node，如果是，就执行，这里模拟线程执行8秒，执行完将自己的node删除，代表释放锁；如果不是，就继续等待。 运行步骤： ...
并行计算hadoopzookeeper分布式缓存mq 
fourinone 评论(0) 有2288人浏览 2011-12-07 11:19

采用并行计算发挥多核CPU的威力

在多核CPU环境中，通过如下方式我们能够充分利用多核的优势为加速我们的应用：1.必须把一个大的计算任务分割成多个任务并让他们并行执行。2.对于计算密集型程序，线程数最好限制在CPU内核数以内。3.对于IO密集型程序，线程数可以采用如下公式来预估： 线程数 = CPU内核数 / （ 1 - IO阻塞率 ） , 阻塞率在 0 到 1 之间 如：在一个4核系统中，执行一个网络应用从远程服务器上获 ...
JAVA多线程并行计算多核 
newbiegao 评论(0) 有1845人浏览 2011-12-02 16:22

分布式计算和并行计算的区别（转）

  周末抽空看了看分布式计算和并行计算方面的东西，主要是搞清楚了这两个东西的相似点和区别，随便记录几句。相似点很简单，都是为了实现比较复杂的任务，将大的任务分解成小的任务，在多台计算机上同时计算。麻烦的是他们的区别，可能主要是以下几点吧，不太肯定。       首先，应用的场合和解决的问题不一样。分布式计算比较倾向于在计算寻找模式的东西，穷举暴力之类的计算。分布式的计算被分解后的小任务互相之间有独 ...
分布式极端并行计算hadoop 
liuweihong47java 评论(0) 有8893人浏览 2011-10-29 11:24

Google架构（转自hideto）

Google是伸缩性的王者。Google一直的目标就是构建高性能高伸缩性的基础组织来支持它们的产品。 平台 Linux 大量语言：Python，Java，C++ 状态 在2006年大约有 ...
高性能高可用高并发并行计算 
chinese.darren 评论(0) 有928人浏览 2011-10-22 12:06

最近博客热门TAG

Java(141741) C(73643) C++(68602) SQL(64557) C#(59604) XML(59131) HTML(59042) JavaScript(54916) .net(54782) Web(54511) 工作(54116) Linux(50906) Oracle(49861) 应用服务器(43285) Spring(40811) 编程(39452) Windows(39380) JSP(37540) MySQL(37266) 数据结构(36420)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics