`

hadoop eclipse debug

 
阅读更多

export HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y"

 

bin/start-all.sh

如果脚本运行成功,则可以看到Shell 命令行终端显示如下信息:

Listening for transport dt_socket at address: 8788

此时表明JobTracker 处于监听状态。JobTracker 将一直处于监听状态,直到收到debug

确认信息。

步骤2 设置断点。

在前面新建的Java 工程“hadoop-1.0.0”中,找到JobTracker 相关代码,并在感兴趣

的地方设置一些断点。

步骤3 在Eclipse 中调试Hadoop 程序。

在Eclipse 的菜单栏中,依次单击“Run”→“Debug Configurations”→“Remote Java

Applications”,打开图1-19 所示的对话框,按图中的提示填写名称、JobTracker 所在的

host 以及监听端口,并选择Hadoop 源代码工程,进入图1-20 所示的调试模式。

分享到:
评论

相关推荐

    hadoop2x-eclipse-plugin-master

    《Hadoop2x-Eclipse-Plugin:掌握大数据开发利器》 在大数据技术领域,Hadoop作为开源分布式计算框架,已经成为处理海量数据的核心工具。而Eclipse作为Java开发者的常用集成开发环境(IDE),其功能强大,深受...

    Hadoop plugin for eclipse

    5. **运行与调试**: 使用Eclipse内置的Job Runner或Debug配置,可以直接在Eclipse内部运行和调试MapReduce任务,无需离开IDE。 6. **测试与部署**: 完成开发后,可以通过Eclipse的Export功能,将MapReduce程序打包...

    hadoop2x-eclipse-plugin

    2. 调试MapReduce任务:通过"Debug As" -> "Hadoop Job",Eclipse提供了调试功能,可以在Mapper和Reducer中设置断点,逐步执行代码,查看变量状态,帮助找出问题所在。 六、优化与维护 Hadoop2x-eclipse-plugin还...

    如何在Windows下的eclipse调试Hadoop2.2.0分布式集群

    在Eclipse中,你可以为MapReduce任务设置断点,并使用Debug模式运行。在“Run Configurations”中,配置Hadoop Job运行参数,包括输入路径、输出路径、Job配置等。启动调试后,Eclipse会将JAR文件提交到Hadoop集群...

    eclipse连接hadoop插件2.6.0/5 2.7.3

    - 运行和调试:通过Eclipse的Run或Debug配置,可以直接提交MapReduce任务到Hadoop集群,并实时查看日志和结果。 5. **插件功能扩展**: 一些插件还可能包含其他有用的功能,如HDFS浏览器,用于可视化查看Hadoop...

    win7安装hadoop及eclipse调试mapreduce的配置方法

    - 编写MapReduce程序,使用Eclipse的Debug模式启动JobTracker进行调试。 在整个配置过程中,可能会遇到各种问题,如权限问题、网络通信问题、配置文件错误等。解决这些问题的关键是仔细检查每个步骤,确保配置文件...

    Eclipse下搭建Hadoop2.7.3开发环境

    在本文中,我们将详细介绍如何在Eclipse环境中搭建Hadoop 2.7.3的开发环境。这个过程将涉及几个关键步骤,包括安装Eclipse插件、配置Hadoop环境以及运行一个简单的WordCount示例。 首先,我们需要下载并安装Eclipse...

    eclipse+maven+hadoop+文件增删改查

    本教程将通过Eclipse集成开发环境,结合Maven构建工具,详细介绍如何进行Hadoop文件系统的文件增删改查操作。以下是对这些知识点的详细阐述: 1. **Eclipse**: Eclipse是一款流行的Java开发IDE,它提供了丰富的代码...

    hadoop-2.6.0版本所需插件.zip

    6. **运行和调试**:写好代码后,右键点击项目,选择"Hadoop" > "Run on Cluster"或"Debug on Cluster",Eclipse会自动将你的程序提交到Hadoop集群上运行。你可以在"Console"视图中查看运行日志,也可以在...

    大数据云计算技术系列 hadoop搭建与eclipse开发环境设置-已验证通过(共13页).rar

    5. 运行和调试:使用Eclipse的Run或Debug功能,可以直接在本地运行MapReduce程序,或者连接到远程Hadoop集群进行测试。 此外,对于更高效的开发,可以学习使用Hadoop的高级特性,如Pig、Hive、Spark等工具,它们...

    hadoop winutils hadoop.dll

    然后,通过配置Eclipse的Run/Debug Configuration,设置正确的Java运行参数,如HADOOP_HOME指向Hadoop的安装目录。 在使用winutils.exe和hadoop.dll时,可能会遇到一些常见问题,如找不到相关文件的错误、权限问题...

    eclipse3.6+hadoop-0.21.0插件配置使用

    - 若需调试,可以在代码中设置断点,然后使用`Debug As` -> `Map/Reduce Job`运行任务,Eclipse将提供调试功能。 通过以上步骤,你已经成功在Eclipse 3.6中配置并使用了Hadoop 0.21.0插件。这个插件使得开发人员能...

    使用IBM的MapReduce Tools for Eclipse插件简化Hadoop开发和部署文档

    【IBM的MapReduce Tools for Eclipse插件】是IBM推出的一款集成开发环境插件,专为简化Hadoop MapReduce应用程序的开发、调试和部署而设计。它整合了Eclipse的功能,使得开发者无需深入理解Hadoop集群的复杂配置,就...

    windows-hadoop-2.6.4-bin

    - **本地运行**:使用Eclipse的Debug模式,可以在本地运行MapReduce作业,便于调试。 - **提交到集群**:当本地调试无误后,使用Eclipse的"Export"功能,将作业打包成jar,然后通过命令行`hadoop jar jar_file ...

    Hadoopeclipse-plugin编译方法[借鉴].pdf

    这些JAR文件可以从你的Eclipse安装目录的`plugins`子目录中找到,例如`org.eclipse.ui`, `org.eclipse.jdt`, `org.eclipse.core`, `org.eclipse.equinox`, `org.eclipse.debug`, `org.eclipse.osgi`, `org.eclipse....

    Hadoop环境搭建 附件.rar

    此外,确保Hadoop的JVM允许远程调试,如在`mapred-site.xml`中添加`<property><name>mapreduce.map.debug.port</name><value>5005</value></property>`,指定调试端口。 12. **测试远程调试**: 在你的IDE(如...

    spark开发环境搭建(eclipse)

    Spark 开发环境搭建(Eclipse) Spark 开发环境搭建是指在 Eclipse 集成开发...搭建 Spark 开发环境需要了解 Scala 语言、Eclipse 集成开发环境、Spark 框架和 Hadoop 框架等技术要点,并需要解决可能遇到的问题。

    eclipse插件大全

    2. **调试工具插件**:例如`PDE Debug`,专为Eclipse插件开发提供调试支持;`Java VisualVM`则提供了一种可视化的方式来分析和诊断Java应用程序的性能问题。 3. **版本控制插件**:`EGit`是Eclipse的Git客户端,...

    如何在windows平台上用Eclipse调试运行HBase

    点击“Debug”按钮后,Eclipse会暂停在你设置的断点处,你可以查看变量值,单步执行代码,以及进行其他调试操作。 在开发HBase应用时,利用Eclipse的强大功能,如代码提示、自动格式化、重构等,可以极大地提高开发...

Global site tag (gtag.js) - Google Analytics