博客首页 → Mapreduce

最新文章列表

用 Hadoop 进行分布式并行编程

一 Hadoop 简介 Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System )。也许到目前为止，Hadoop 还不是那么广为人知，其最新的版本号也仅仅是 0.16，距离 1.0 似乎都还有很长的一段距离，但提及 Hadoop 一 ...
编程HadoopMapreduce云计算SSH 
fengke86 评论(0) 有1008人浏览 2009-10-04 11:36

Hadoop学习笔记二 安装部署

本文主要是以安装和使用hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。 硬件环境 共有3台机器，均使用的FC5系统，Java使用的是jdk1.6.0。IP配置如下： dbrg-1：202.197.18.72 dbrg-2：202.197.18.73 dbrg-3：202.197.18.74 这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能 ...
HadoopSSHMapreduceXSLXML 
fengke86 评论(0) 有843人浏览 2009-10-04 11:03

(Meng Yan )Map Reduce - the Free Lunch is not over?

微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章：”The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software“，预言OO之后软件开 ...
MapreduceGoogleluceneHadoop多线程 
fengke86 评论(0) 有470人浏览 2009-10-04 10:59

Hadoop学习笔记一 简要介绍

这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档，里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop ...
HadoopMapreducelucene编程搜索引擎 
fengke86 评论(0) 有529人浏览 2009-10-04 10:43

Hadoop分析

　好链接：http://www.kuqin.com/system-analysis/20080804/13302.html   原文地址：http://www.wangchao.net.cn/bbsdetail_490384.html Hadoop 是 Google labs 的MapReduce的一个实现，Nutch ...
HadoopMapreduce编程lucene数据结构 
gavinlau 评论(0) 有1128人浏览 2009-09-27 10:10

Google's BigTable 原理

题记：google 的成功除了一个个出色的创意外，还因为有 Jeff Dean 这样的软件架构天才。                                                   ------ 编者 官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据比如 R ...
Google数据结构MapreduceWebBlog 
gogototo 评论(0) 有1503人浏览 2009-09-27 09:56

Google大表(BigTable)

大表(Bigtable):结构化数据的分布存储系统   http://labs.google.com/papers/bigtable-osdi06.pdf｛中是译者评论,程序除外｝ {本文的翻译可能有不准确的地方,详细资 ...
Google数据结构应用服务器设计模式Mapreduce 
gogototo 评论(0) 有1791人浏览 2009-09-27 09:54

Nutch1.0 Crawl整体代码分析

================================================================ Crawler和Searcher两部分被尽是分开，其主要目的是为了使两个部分可以布地配置在硬件平台上，例如Crawler和Searcher分别被放置在两个主机上，这样可以极大的提高灵活性和性能。 一、总体介绍： 1、先注入种子urls到crawldb 2、循环：   ...
luceneMapreduceHadoop正则表达式数据结构 
gavinlau 评论(0) 有3128人浏览 2009-09-27 09:02

云计算讨论

  从主机服务到VPS，它是真正的云吗？ 基本上，如果要细究到底云是什么，可能可以先吵上个三天三夜还没定论，因为根据众多前辈的说法，云这个字本来就是个流行词汇（Buzz Word），想用的人就随需取用好了，其实根本没啥定义好谈的啊。因此，我打算先跳过试图去定义这个字的破题法，从实际的部署方式来看这件事。 以往一般人要提供网络服务，大多是去租虚拟主机，有钱一点就丢机器到机房去，这是最常见也最 ...
云计算GAEHadoopMapreduceGoogle 
yinhe2726 评论(0) 有872人浏览 2009-09-27 08:43

云计算成为现实

2008年下半年这些日子，虽然微软还在表示进军云计算，但是云计算在Java世界实际上已经从口号变成现实。这是一篇Web服务器Jetty集群文章的翻译，也就 ...
云计算Hadoop应用服务器MapreduceGlassfish 
atomti 评论(0) 有1005人浏览 2009-09-24 10:27

MapReduce & Hadoop

         MapReduce & Hadoop   2.2.1示例   考虑这样一个例子，在一个很大的文档集合中，计算每一个单词出现的次数。 可以使用下面的伪代码表示:   Map(String key, String value):
MapreduceHadoop编程应用服务器框架 
summerbell 评论(0) 有2198人浏览 2009-09-23 22:56

Nutch 研究<三> 将Nutch爬取结果放入Hypertable

想把Nutch抓取的web page结果放入到Hypertable中去,目前思路主要有三个: 1. 修改Nutch源代码,让Nutch基于Hypertable工作,可以参考Hbase的实现. 由于该实现缺失Nutch好多特性,而且不易升级,考虑作罢. 2. 将Nutch抓取结果以命令导出为text的dump文件,然后用MapReduce解析该文件,哪相关信息到Hypertable. 3. 其实 ...
HadoopApacheHBaseMapreduceSQL 
lovejuan1314 评论(1) 有1926人浏览 2009-09-22 17:12

分布式计算开源框架Hadoop介绍

引用Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景 什么是Hadoop？ 搞什么东西之前，第一步是要知道What（是什么），然后是Why（为什么），最后才是How（怎么做）。但很多 ...
框架HadoopMapreduceRack设计模式 
caizhongda 评论(1) 有1520人浏览 2009-09-21 18:03

MapReduce学习文档

MapReduce的一些学习资料。
Mapreduce 
woodbird 评论(0) 有818人浏览 2009-09-20 22:42

Map Reduce学习

Map Reduce - the Free Lunch is not over?                                       --------转载自：孟岩 微软著名的C++大师Herb Sutter在2005年初的时候 ...
MapreduceGoogleluceneHadoop多线程 
woodbird 评论(0) 有902人浏览 2009-09-20 15:52

Nutch 的集群式搜索引擎

eclipse插件经典收集 http://www.javago.net/eclipse_plug/index.htm oracle ,mysql,sqlserver,sybase经典文章收集 http://www.javago.net/db_pindao.html java专题研究，面试题收集 ...
搜索引擎Hadooplucene应用服务器Mapreduce 
javago_net 评论(0) 有44人浏览 2009-08-12 12:34

上周技术关注：函数式编程另类指南

[网站设计, 用户体验] 改进网页可读性（Readability）的7个方法 >> [用户体验, delicious] 美味书签(del.icio.us)的用户体验改进项目 >> 从了解公司 ...
编程MapreduceASP.netGoogle出版 
txf2004 评论(0) 有810人浏览 2006-11-20 13:19

你的编程语言可以这样做吗？

繁体中文翻译见： 你的程式語言可以這樣做嗎？ emu翻译的版本 你的编程语言可以这样做吗？ From The Joel on Software Translation Project <!-- start conten ...
编程FortranMapreduce互联网Google 
javago_net 评论(0) 有4人浏览 2006-08-16 12:02

最近博客热门TAG

浏览器(34332) Blog(32212) Google(26471) 网络应用(23512) IE(21696) 互联网(13881) QQ(11035) Firefox(9275) 网络协议(9099) 搜索引擎(8705) 百度(7940) BBS(4716) Gmail(3793) 防火墙(3687) Chrome(3205) 360(3012) 云计算(2849) 腾讯(2715) Yahoo(2236) WordPress(2094)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics