博客首页 → Mapreduce

最新文章列表

MapReduce程序设计总结

内容稍后添加
Mapreduce 
yuhai.china 评论(0) 有1120人浏览 2008-12-14 13:53

Map Reduce - the Free Lunch is not over?

转载自http://www.mengyan.org/blog/archives/2006/11/15/138.html 微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章：”The Free Lunch Is Over: A Fundament ...
MapreduceGoogleluceneHadoop多线程 
ekumen 评论(0) 有768人浏览 2008-12-11 15:27

怎么停止和重新启用hadoop的DataNode

停止 比如我原来有10个节点的集群. 现在我想停掉2个,但数据不能丢失,只能让它们的数据转移到其它8台上.这道过程就是decommission. 我们不能直接把那2台停掉, 要在停掉之前把数据转移出去. 首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下 例如 CS02 CS03 CS04 CS05 CS06 ...
HadoopMapreduceXML 
coderplay 评论(5) 有14956人浏览 2008-12-11 15:17

分析Hadoop自带WordCount例子的执行过程(4)

前面终于把命令行和Hadoop的配置类说完了，其实就是为了获取Hadoop的配置信息，在这些配置存在的环境下才能进行Tool的运行工作。   众所周之，Hadoop实 ...
HadoopApacheMapreduce算法Google 
radarradar 评论(0) 有3325人浏览 2008-12-09 10:40

java tips and tricks

一、-Xmx512m 二、eclipse的插件的links安装方法：     在eclipse目录中新建links目录以mapReduce在linux下的安装为例（这个插件在linux下和windows下面都可以用），     1.创建插件存放目录：　eclipse安装目录里创建如下的目录：myPlugins\mapReduce\eclipse 将plugins解压到eclipse目录中,这样 ...
JavaEclipseMapreduceMyeclipseLinux 
gcgmh 评论(0) 有851人浏览 2008-12-08 15:54

初识Google MapReduce

      今年，云计算炒得火热，《程序员》杂志11月更以云计算为专题，综合了从不同概念，不同厂商的方案，不同的技术大牛的分析和预测，收益良多。让人一种山雨欲来风满楼的感觉。      作为一个程序员，多少了解一些，也算跟得上时代，呵呵。      其中Google的MapReduce技术更是一个亮点。但《程序员》及网上的中文文章介绍以概念性居多，看完之后感觉大致了解，但又还是有些云里雾里的。不如直 ...
MapreduceGoogle云计算网络应用Linux 
raymond2006k 评论(1) 有3098人浏览 2008-12-08 11:15

Why Map/Reduce?

从Google在OSDI'04上发表了Map/Reduce这篇Paper；到Yahoo！在06年雇佣Doug Cotting， 投入对Hadoop最大的关注，以期提高其计算能力对抗Google；再到CMU CS的系主任发表Tec h report提出DISC（Data-Intensive Super Computing,在最近一次的Hadoop summit上， 他演讲的slides将Super改成 ...
MapreduceHadoopLISPFP云计算 
zhangyafei_kimi 评论(1) 有2510人浏览 2008-12-07 10:57

Google Architecture -- 翻译版

Google是伸缩性的王者。Google一直的目标就是构建高性能高伸缩性的基础组织来支持它 们的产品。 平台 Linux 大量语言：Python，Java，C++ 状态 在2006年大 ...
GoogleMapreduce数据结构HadoopLinux 
zhangyafei_kimi 评论(0) 有1486人浏览 2008-12-07 10:55

HadHoop分布式框架简介(一)

分布式系统基本原理       分布式系统被设计成可以存储和管理大数据量的信息的系统，并为这些数据提供对外的访问功能（通过网络）。现在已经有许多的分布式系统用各种不同的方法解决了这个问题。                 NFS, the Network File System, 是目前最普遍的分布式系统。它也是还在使用的最老的分布式系统之一。它的设计是非常易懂的，但它也有许多的局限性。NFS ...
框架LinuxHadoopMapreduce数据结构 
baobeituping 评论(0) 有6238人浏览 2008-12-02 16:03

Annotated Hadoop: 第三节 MapReduce工作原理

          MapReduce工作原理 Map-Reduce框架的运作完全基于<key,value>对，即数据的输入是一批<key,value>对，生成的结果也是一批<key,value>对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实现 ...
Mapreduce工作Hadoop框架 
gaoyuntao2005 评论(0) 有1795人浏览 2008-11-28 12:51

Annotated Hadoop: 第一节 Hadoop是什么

Hadoop是什么 Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是 ...
HadoopMapreduceApache网络应用应用服务器 
gaoyuntao2005 评论(0) 有1653人浏览 2008-11-28 12:49

Annotated Hadoop: 第二节 MapReduce框架结构

2          MapReduce框架结构 Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduc ...
Mapreduce框架数据结构Hadoop配置管理 
gaoyuntao2005 评论(0) 有1423人浏览 2008-11-28 12:48

Hadoop安装部署

写的很好，对于第一次部署可以省去很多时间。以下为原文内容：本文主要是以安装和使用hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及 ...
HadoopSSHMapreduceXSLXML 
gaoyuntao2005 评论(0) 有1273人浏览 2008-11-28 12:45

hadoop分布式系统（上）

   简介         HDFS, the Hadoop Distributed File System, 是一个分布式系统，它被设计用来存储大数据量的信息（通常是TB或PB），并提供对数据进行高吞吐量访问的性能。文件被存储在多台机器中，确保系统的抗失效性能以及并行应用程序的高效。这篇文章主要介绍 HDFS的设计意图、结构，并告诉读者怎样去使用它。   本文的目标 ...
HadoopLinux应用服务器Mapreduce数据结构 
mxsfengg 评论(3) 有1369人浏览 2008-11-28 10:55

nutch window执行程序

@echo offset JAVA_HEAP_MAX="-Xmx512M"if not "%1"=="" goto INIT else goto echoMSG:echoMSG  echo Title: Nutch 运行脚本  echo Author:wolf mail:wangxuliangboy@163.com QQ:39278621  ...
ApacheMapreduceQQ脚本 
wangxuliangboy 评论(0) 有2150人浏览 2008-11-26 16:19

Hadoop源代码分析（三）

由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。 org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。实现了Writable接口的一个典型例子如下： public class MyWritable implements Writable { ...
HadoopApacheMapreduce 
caibinbupt 评论(9) 有24310人浏览 2008-11-25 11:11

Hadoop和分布式Lucene

Lucene是大家用的最多的开源搜索引擎。本文不探讨Lucene如何实时更新（http://issues.apache.org/jira/browse/LUCENE-1313），和如何修改Lucene评分机制，添加如PageRank评分因子，本文只讨论分布式的Lucene。     说到Lucene一般都会提到Nutch，Hadoop最早是Doung Cutting为了Nutch的crawler和 ...
luceneHadoopSolr搜索引擎Mapreduce 
akululu 评论(0) 有2793人浏览 2008-11-25 10:32

Google 每天处理约 20000TB 的数据

Google 热衷于处理全球的信息，每天，他们花费大量时间探索更好的信息整理技术，他们目前使用的技术为 MapReduce ，这是一种可以对数据进行并发处理的 ...
GoogleMapreduceWeb 
titanfoot 评论(0) 有723人浏览 2008-11-24 17:43

Google Architecture

Google Architecture Sun, 11/23/2008 - 02:01 — Todd Hoff Google Architecture (5550) Update 2: Sorting 1 PB with MapReduce . PB is not peanut-butter-and-jelly misspelled. It's 1 petab ...
GoogleMapreduceHadoopLinuxSQL Server 
xiaogui9317170 评论(0) 有1316人浏览 2008-11-24 16:09

为什么大多数大型网站不是用Java写的

国庆长假，老外在热烈的讨论这个话题， 原文地址： http://natishalom.typepad.com/nati_shaloms_blog/2007/10/why-most-scalab.html 我摘录部分观点如下： Most of these sites are using LAMP as the core runtime stack Some develop their own file ...
JavaMapreduceGoogleHibernatememcached 
逆风的香1314 评论(0) 有720人浏览 2007-10-08 09:33

最近博客热门TAG

浏览器(34332) Blog(32212) Google(26471) 网络应用(23512) IE(21696) 互联网(13881) QQ(11035) Firefox(9275) 网络协议(9099) 搜索引擎(8705) 百度(7940) BBS(4716) Gmail(3793) 防火墙(3687) Chrome(3205) 360(3012) 云计算(2849) 腾讯(2715) Yahoo(2236) WordPress(2094)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics