年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
wy_19921005 - gengyun12
- gashero
- 大家都说我很棒
- robotmen
- vipbooks
- fantaxy025025
- wallimn
- hbxflihua
- qepwqnp
- 解宜然
- e_e
- ranbuijj
- sichunli_030
- javashop
- zw7534313
- ssydxa219
- jickcai
- sam123456gz
- gdpglc
- zysnba
- benladeng5225
- tanling8334
- appalese
- gaojingsong
- gaozzsoft
- zhangyi0618
- wiseboyloves
- xpenxpen
- jh108020
- panshunchang
- luxurioust
- xyuma
- nychen2000
- 龙哥IT
- wjianwei666
- arpenker
- jbosscn
- wangchen.ily
- lzyfn123
- 狂盗一枝梅
- bsszds
- Jameslyy
- hanbaohong
- java-007
- xiangjie88
- mengjichen
- silverend
最新文章列表
几个JobTracker优化的配置及解决JobTracker OOM的方法
系统上线两年多了,最近发现任务积压严重,当然与任务越来越多有关系,但也不能放任不管。
然后开始找原因,通过看日志,发现JT占用的内存挺大,虽然我内存给的20g,但也不能吃住不放啊,导致服务器LOAD值也有点偏高,所以断定是出在JT这里。
1.mapred.jobtracker.completeuserjobs.maximum
默认100
The maximum number of complete ...
hadoop 源码分析(四)JobTracker 添加job 到schduler 队列中
启动 JobTracker
1. 进入main方法:
//执行startTracker 方法
JobTracker tracker = startTracker(new JobConf());
//执行offerService()方法
tracker.offerService();
3.startTracker()方法中
/ ...
hadoop 源码分析(一) jobClient 提交到JobTracker
Hadoop 用了2年多了.从最初一起创业的11人20台服务器集群到后来独立搭建基于hadoop nutch的搜索引擎并商用化 到现在也2年了.这两年来应用了很多新技术也经历了很多,从数据仓库的Hive pig 到mapreduce的编码去解决算法或是etl的问题 等等都离不开hadoop.觉得用了2年多也到了该总结的时候了.故此想重新翻译hadoop 源码,按照不同的类方法的不同 ...
Hadoop学习第4天——JobTracker TaskTracker
翻译《Pro Hadoop 》Jason Venner著,部分章节
JobTracker & TaskTracker
The framework provides two processes that handle the management of MapReduce jobs:• TaskTracker manages the execution of individual map ...
MapReduce运行流程源码分析(一)
这几天都会看一些hadoop的源代码,开始的时候总会没有任何头绪,不知道从哪开始,经过这几天的对hadoop运行流程的分析和了解,还有从别人那得到的一些启发,再加上看到其他人发表的博客,对hadoop源代码 有了一点点的认识,这篇博客写下一点对hadoop源代码的了解
1.启动hadoop
我们都知道启动hadoop的命令是bin/start-all.sh,通过查看start-all.sh ...
no namenode to start
问题:
no namenode to start
no jobtracker to start
no tasktracker to start
解决方法:
(1)查看hadoop配置文件 是否有误
<name>fs.default.name</name>
<value>hdfs://sev144:9000</value>
<name>m ...