本月博客排行
-
第1名
龙儿筝 -
第2名
johnsmith9th -
第3名
wy_19921005 - zysnba
- sgqt
- lemonhandsome
- sichunli_030
年度博客排行
-
第1名
宏天软件 -
第2名
青否云后端云 -
第3名
龙儿筝 - gashero
- wallimn
- vipbooks
- benladeng5225
- wy_19921005
- fantaxy025025
- e_e
- zysnba
- ssydxa219
- sam123456gz
- javashop
- arpenker
- tanling8334
- kaizi1992
- xpenxpen
- wiseboyloves
- xiangjie88
- ranbuijj
- ganxueyun
- sichunli_030
- xyuma
- wangchen.ily
- jh108020
- lemonhandsome
- zxq_2017
- jbosscn
- johnsmith9th
- Xeden
- luxurioust
- lzyfn123
- zhanjia
- forestqqqq
- ajinn
- nychen2000
- wjianwei666
- hanbaohong
- daizj
- 喧嚣求静
- silverend
- mwhgJava
- kingwell.leng
- lchb139128
- lich0079
- kristy_yy
- jveqi
- java-007
- sunj
最新文章列表
MPI和map-reduce区别
mpi对于分布式文件存储(数据密集型、非计算密集型)支持较少,它适用于计算密集型,另外对于类似于hadoop的datanode、tasknode来讲,同一个工作站既做计算(task),又做存储(data),而且优先处理本地的数据,这样的设计比较优雅
Hadoop YARN(转)
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富多样的应用程序生态系统,包括 Apache Pig(一种强大的脚本语言)和 Apache Hive(一个具有类似 SQL 界面的数据仓库解决方案)。
...
Using the Aggregate package in Java is explained
http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html
使用 Map-Reduce 统计Web 服务器 access.log 日志文件
1.6. Map-Reduce
1.6.1. 使用 Map-Reduce 统计Web 服务器 access.log 日志文件
首先将web服务器access.log倒入到mongodb,参考 http://netkiller.github.io/article/log.html。 格式如下:
{
"_id" : ObjectId("5 ...
在eclipse下运行Map-Reduce程序
在eclipse下运行Map-Reduce程序:
1,在eclipse新建项目。
File-->New-->Other-->Map/Reduce
Project
项目名可以随便取,如
HadoopTest
。
复制
hadoop
安装目录
/src/exam ...