map-Reduce热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

MPI和map-reduce区别

mpi对于分布式文件存储（数据密集型、非计算密集型）支持较少，它适用于计算密集型，另外对于类似于hadoop的datanode、tasknode来讲，同一个工作站既做计算（task），又做存储（data），而且优先处理本地的数据，这样的设计比较优雅

mpi hadoop map-reduce 并行计算

daniel0202 评论(0) 有1075人浏览 2014-04-01 22:44

带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富多样的应用程序生态系统，包括 Apache Pig（一种强大的脚本语言）和 Apache Hive（一个具有类似 SQL 界面的数据仓库解决方案）。 ...

Hadoop Yarn Map-Reduce

wbj0110 评论(0) 有774人浏览 2014-01-30 09:34

Using the Aggregate package in Java is explained

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html

Hadoop Map-Reduce Streaming

wbj0110 评论(0) 有914人浏览 2013-11-11 11:09

使用 Map-Reduce 统计Web 服务器 access.log 日志文件

1.6. Map-Reduce 1.6.1. 使用 Map-Reduce 统计Web 服务器 access.log 日志文件首先将web服务器access.log倒入到mongodb,参考 http://netkiller.github.io/article/log.html。格式如下： { "_id" : ObjectId("5 ...