博客首页 → Hadoop

最新文章列表

用于云计算的分布式数据库(云数据库)

IBM投资EnerpriseDB；EnerpriseDB有一个运行在Amazon EC2上的云版本 Amazon自己的云数据库SimpleDB Google的BigTable不开源，但得到了广泛研究 两个开源项目——HBase(java)和Hypertable(C++)利用开源Map/Reduce平台Hadoop提供了类似于BigTable的可伸缩数据库实现。
云计算HBaseHadoopGoogleIBM 
xingshaomin 评论(0) 有3277人浏览 2008-06-14 21:24

提供"Hadoop分布式文件系统：架构和设计要点(翻译)"下载

    网上找到这方面的资料，javaeye也有这个帖子 ，想学习这方面的知识，虽然网上很容易找到这方面的资料，但我还是把它上传来与感兴趣的javaeye友一起学习。
Hadoop 
chenlb 评论(1) 有1317人浏览 2008-06-12 17:26

Hadoop安装部署（转）

本文主要是以安装和使用hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。 硬件环境共有3台机器，均使用的FC5系统，Java使用的是j ...
HadoopSSHMapreduceXSLXML 
lucenehc 评论(1) 有3858人浏览 2008-06-12 14:29

Hadoop分布式文件系统的构架和设计(原创翻译 70%)

翻译 ：fly_hyp 欢迎访问我的博客：http://fly-hyp.iteye.com/     翻译的有点业余，现在大约翻译了70%，今天是没有时间了，以后会再接再厉。 ...
Hadoop设计模式Rack应用服务器performance 
fly_hyp 评论(0) 有3980人浏览 2008-06-06 09:24

Map Reduce - the Free Lunch is not over?

原文出处： http://www.mengyan.org/blog/archives/2006/11/15/138.html 微软著名的C++大师Herb Sutter 在2005年初的时候曾经写过一篇重量级的文章：”The Free Lunch Is Over: A Fu ...
MapreduceGoogleluceneHadoop多线程 
wind_bell 评论(0) 有1463人浏览 2008-06-05 18:12

Hadoop学习笔记

原文出处: http://blog.csdn.net/heiyeshuwu/archive/2007/09/09/1778193.aspx   一、简要介绍 这里先大致介绍一下Hadoop.     本文大部分内容都是从官网 Hadoop 上来的。其中有一篇 介绍HDFS的pdf文档 ，里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从 这里 一 ...
HadoopSSHMapreducelucene配置管理 
wind_bell 评论(2) 有2474人浏览 2008-06-05 17:54

Hadoop分布式文件系统：架构和设计要点(翻译)

  Hadoop分布式文件系统：架构和设计要点一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标 ...
Hadoop网络应用Rack数据结构网络协议 
dennis_zane 评论(13) 有3095人浏览 2008-06-05 14:26

Hadoop入门[z]

Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或 ...
HadoopSSHMapreduce编程Google 
liudaoru 评论(0) 有1942人浏览 2008-06-03 16:40

RailsConf 08 流水帐（第三天）

第三天早上就是Jeremy Kemper发布了rails 2.1，介绍了新的特征。 然后去听了Using Git to Manage and Deploy Rails Apps，可惜内容深度不够，我用git尽管也只是两个月 ...
RailsRubyHadoopGit网络应用 
yawl 评论(1) 有1414人浏览 2008-06-03 13:40

Hadoop的基本结构介绍（原创）

Hadoop 的基本结构介绍（原创） 概述：          这是我看了 Hadoop core 0.17.0 文档只有做的一些总结，有不对的地方请给我指出。 ...
Hadoop数据结构MapreduceHBase算法 
fly_hyp 评论(3) 有4921人浏览 2008-06-02 15:59

Hadoop资料整理计划

  1.整理现有的一些Hadoop资料 2.翻译一些外文资料 3.做一些总结      
Hadoop 
fly_hyp 评论(0) 有1311人浏览 2008-06-02 13:48

Skynet --- ruby的类Google Map/Reduce框架

Skynet是一个很响亮的名字，因为它是阿诺施瓦辛格主演的经典系列电影《终结者》里面的统治人类的超级计算机网络。不过本文的Skynet没这么恐怖，它是 ...
框架GoogleRubyHadoop算法 
robbin 评论(11) 有8348人浏览 2008-06-02 00:39

nutch源代码分析之Injector

Injector分两步MapReduce操作：获取爬虫数据、将数据合并到爬虫数据库中。 参见Injector.inject(Path crawlDb, Path urlDir)方法 MapReduce1: 把输入数据转换为数据库所需的格式   输入：未处理的，包含url信息的文本文件   Map(line) -> <url, CrawlDatum>; status=db ...
HadoopMapreduce 
coderplay 评论(0) 有6552人浏览 2008-05-20 03:14

谢谢Hibernate---Hibernate源码研究碎得(3)

谢谢Hibernate. 鼓捣Hiberante的源码有一段日子也,回过头来看看这段路,不由地想起"感触颇多"这个词了:从刚开始的"为伊消的人憔悴"到现在的 ...
HibernateJavaHadoop生活C# 
rmn190 评论(5) 有6991人浏览 2008-05-12 14:40

hadoop的reducer输出多个文件

有时候我们想到这样的功能: reducer能根据key(或value)值来输出多个文件，同一key(或value)处于同一个文件中。现在hadoop的0.17.x版本可以重写MultipleOutputFormat的generateFileNameForKeyValue就可以实现此功能。 比如： package org.apache.hadoop.mapred.lib; import j ...
HadoopApache 
coderplay 评论(2) 有10267人浏览 2008-05-08 19:39

智能型爬虫还在research

根据当前测试，目前算法预计将能成功65-70%，中间无需任何人工参与。 测试完成后将视结果是否立项？立项标准是90%，难度不小，要保持准确和速度。 测试语言：php，但是实际开发语言可能会用c#。 数据规模每天增量大约50万，数据保存至少半年，那么数据至少9000万，这将是个很庞大的规模。 虽说爬虫将独立运作，但是我觉得还是需要建立爬虫监控系统，并且参考MapReduce部分设计将性能拉到最 ...
SolrHadoopPythonPHPMapreduce 
imjl 评论(2) 有3117人浏览 2008-04-21 20:55

hama -- a parallel matrix computational package

Today, I accidently found an interesting stuff, which may help us operating large scales of data sets for redpoll. This is a matrix computational library based on hadoop hbase. http://code.google.com/ ...
HBaseHadoopGoogle 
coderplay 评论(0) 有4535人浏览 2008-04-02 01:42

redpoll and mahout

Days before, I've submitted an application to participate in Apache Mahout and  at this time, have got a reply from the guru of this project. It inspired us with lots of courages. We decided that if I ...
HadoopApache 
coderplay 评论(0) 有4405人浏览 2008-04-02 01:20

Resume

Personal Information Name:周敏 (Min Zhou) Gender:male Date of Birth:1982/04 Current WorkState:Only the good opportunity then i consider Primary Contact:Mobile (13560220768)            Contact2:School ...
luceneMapreduceMobileHadoopLinux 
coderplay 评论(0) 有4372人浏览 2008-03-25 12:57

开发大型高负载类网站应用的几个要点

看了一些人的所谓大型项目的方法,我感觉都是没有说到点子上，有点难受。我也说说自己的看法.我个人认为,很难衡量所谓项目是否大型, 即便很简单的 ...
应用服务器MySQLlighttpdHadoopPHP 
shake863 评论(0) 有601人浏览 2007-08-23 09:52

最近博客热门TAG

Apache(33928) Lucene(5053) Hadoop(5049) nginx(3449) vim(3262) GCC(2954) memcached(2625) jfreechart(1688) Django(1602) Zend(1413) ActiveMQ(1398) Grails(1374) ActiveRecord(1349) OpenSource(1236) Emacs(870) Glassfish(858) lighttpd(810) rubygems(716) GAE(631) Blend(516)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics