博客首页 → jobtracker

最新文章列表

几个JobTracker优化的配置及解决JobTracker OOM的方法

系统上线两年多了，最近发现任务积压严重，当然与任务越来越多有关系，但也不能放任不管。 然后开始找原因，通过看日志，发现JT占用的内存挺大，虽然我内存给的20g，但也不能吃住不放啊，导致服务器LOAD值也有点偏高，所以断定是出在JT这里。 1.mapred.jobtracker.completeuserjobs.maximum 默认100 The maximum number of complete ...
HadoopJobTracker 
zhousheng29 评论(0) 有4305人浏览 2013-12-20 15:25

hadoop 源码分析(四)JobTracker 添加job 到schduler 队列中

  启动 JobTracker 1. 进入main方法：     //执行startTracker 方法 JobTracker tracker = startTracker(new JobConf()); //执行offerService()方法 tracker.offerService(); 3.startTracker()方法中         / ...
hadoopjobtracker 
黎明lm 评论(0) 有2883人浏览 2013-03-29 18:37

hadoop 源码分析(一) jobClient 提交到JobTracker

      Hadoop 用了2年多了.从最初一起创业的11人20台服务器集群到后来独立搭建基于hadoop nutch的搜索引擎并商用化 到现在也2年了.这两年来应用了很多新技术也经历了很多,从数据仓库的Hive pig 到mapreduce的编码去解决算法或是etl的问题 等等都离不开hadoop.觉得用了2年多也到了该总结的时候了.故此想重新翻译hadoop 源码,按照不同的类方法的不同 ...
hadoopjobclientjobTracker 
黎明lm 评论(0) 有3620人浏览 2013-03-26 13:41

Hadoop学习第4天——JobTracker TaskTracker

翻译《Pro Hadoop 》Jason Venner著，部分章节 JobTracker & TaskTracker The framework provides two processes that handle the management of MapReduce jobs:• TaskTracker manages the execution of individual map ...
Jobtrackertasktracker 
lvdccyb 评论(0) 有4228人浏览 2012-04-16 23:13

MapReduce运行流程源码分析(一)

   这几天都会看一些hadoop的源代码，开始的时候总会没有任何头绪，不知道从哪开始，经过这几天的对hadoop运行流程的分析和了解，还有从别人那得到的一些启发，再加上看到其他人发表的博客，对hadoop源代码 有了一点点的认识，这篇博客写下一点对hadoop源代码的了解 1.启动hadoop 我们都知道启动hadoop的命令是bin/start-all.sh,通过查看start-all.sh ...
hadoop源码分析TaskTrackerJobTracker 
yu06206 评论(0) 有2236人浏览 2012-02-08 13:39

no namenode to start

问题： no namenode to start no jobtracker to start no tasktracker to start 解决方法: (1)查看hadoop配置文件 是否有误 <name>fs.default.name</name> <value>hdfs://sev144:9000</value> <name>m ...
hadoopnamenodejobtrackertasktracker 
panwubin470 评论(0) 有730人浏览 2011-08-01 12:12

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics