`
lg70124752
  • 浏览: 61610 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

hadoop debug

阅读更多
export HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=878
8,server=y,suspend=y"


可使用 Hadoop 脚本中的 daemonlog 命令查看和修改某个类的日志级别,比如,可通过
以下命令查看 TaskTracker 类的日志级别:
bin/hadoop daemonlog -getlevel ${tasktracker -host}:50075 \
org.apache.hadoop.mapred.TaskTracker
Apache log4j 网址:http://logging.apache.org/log4j/index.html
22

可通过以下命令将 JobTracker 类的日志级别修改为 DEBUG:
bin/hadoop daemonlog -setlevel ${tasktracker-host}:50075 \
org.apache.hadoop.mapred.TaskTracker DEBUG
分享到:
评论

相关推荐

    hadoop lzo debug jar

    hadoop用于解析lzo的包,这个问题在使用presto的时候需要将此包添加到presto的工具包中,以支持lzo格式文件的查询。

    hadoop winutils hadoop.dll

    然后,通过配置Eclipse的Run/Debug Configuration,设置正确的Java运行参数,如HADOOP_HOME指向Hadoop的安装目录。 在使用winutils.exe和hadoop.dll时,可能会遇到一些常见问题,如找不到相关文件的错误、权限问题...

    如何在Windows下的eclipse调试Hadoop2.2.0分布式集群

    在Eclipse中,你可以为MapReduce任务设置断点,并使用Debug模式运行。在“Run Configurations”中,配置Hadoop Job运行参数,包括输入路径、输出路径、Job配置等。启动调试后,Eclipse会将JAR文件提交到Hadoop集群...

    hbase和hadoop数据块损坏处理

    * hdfs debug recoverLease -path 文件位置 -retries 重试次数:修复指定路径的 HDFS 文件 六、自动修复 HDFS HDFS 自动修复可以通过 directoryscan 和 blockreport 机制来实现。当数据块损坏后,DN 节点会执行 ...

    Hadoop plugin for eclipse

    5. **运行与调试**: 使用Eclipse内置的Job Runner或Debug配置,可以直接在Eclipse内部运行和调试MapReduce任务,无需离开IDE。 6. **测试与部署**: 完成开发后,可以通过Eclipse的Export功能,将MapReduce程序打包...

    hadoop-2.6.0版本所需插件.zip

    6. **运行和调试**:写好代码后,右键点击项目,选择"Hadoop" > "Run on Cluster"或"Debug on Cluster",Eclipse会自动将你的程序提交到Hadoop集群上运行。你可以在"Console"视图中查看运行日志,也可以在...

    hadoop mapreduce helloworld 能调试

    3. **使用 DebugFlag**:在提交作业时,可以设置 `-Dmapred.map.task.debug.script` 和 `-Dmapred.reduce.task.debug.script` 参数,使得 Map 或 Reduce 任务在完成时生成一个脚本,用于进一步分析。 4. **使用可视...

    hadoop2x-eclipse-plugin

    2. 调试MapReduce任务:通过"Debug As" -> "Hadoop Job",Eclipse提供了调试功能,可以在Mapper和Reducer中设置断点,逐步执行代码,查看变量状态,帮助找出问题所在。 六、优化与维护 Hadoop2x-eclipse-plugin还...

    eclipse连接hadoop插件2.6.0/5 2.7.3

    - 运行和调试:通过Eclipse的Run或Debug配置,可以直接提交MapReduce任务到Hadoop集群,并实时查看日志和结果。 5. **插件功能扩展**: 一些插件还可能包含其他有用的功能,如HDFS浏览器,用于可视化查看Hadoop...

    windows-hadoop-2.6.4-bin

    - **本地运行**:使用Eclipse的Debug模式,可以在本地运行MapReduce作业,便于调试。 - **提交到集群**:当本地调试无误后,使用Eclipse的"Export"功能,将作业打包成jar,然后通过命令行`hadoop jar jar_file ...

    hadoop2x-eclipse-plugin-master

    在Job Manager中选择相应的集群,设置运行参数,然后点击"Run"或"Debug"。 2. 运行过程中,可以在"Console"视图中查看输出,方便定位问题。 六、优化与进阶 1. 除了基本功能,该插件还提供了代码自动补全、错误...

    eclipse+maven+hadoop+文件增删改查

    在调试时,可以设置断点并使用`Debug As`选项进行调试。 7. **hadoop01**:这可能是示例代码中包含的一个Hadoop相关模块或者测试数据。具体的内容可能涉及文件系统的操作,例如创建、读取、更新或删除文件的Java...

    Hadoop IDEA 本地调试MR 包含文档和所有的资源

    在IDEA中,你可以创建一个新的Run/Debug Configuration,选择“Application”类型,设置Main Class为你的Job类,添加VM options来模拟Hadoop环境,例如`-Dmapreduce.jobtracker.address=localhost:8021`。...

    Eclipse下搭建Hadoop2.7.3开发环境

    在本文中,我们将详细介绍如何在Eclipse环境中搭建Hadoop 2.7.3的开发环境。这个过程将涉及几个关键步骤,包括安装Eclipse插件、配置Hadoop环境以及运行一个简单的WordCount示例。 首先,我们需要下载并安装Eclipse...

    hadoop模块编译与日志调试.doc|hadoop模块编译与日志调试.doc

    若要将其改为DEBUG,可以在`log4j.properties`中添加`log4j.logger.org.apache.hadoop.hdfs.server.datanode.DataNode=DEBUG`,然后重启服务使更改生效。 总的来说,Hadoop的源码编译和日志调试是开发者深入理解...

    hadoop-0.20.2-cdh3u6

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的出现主要解决了大数据处理的难题。"hadoop-0.20.2-cdh3u6"是Cloudera公司基于Hadoop的一个发行版本,名为CDH(Cloudera Distribution Including Apache ...

    Hadoop环境搭建 附件.rar

    此外,确保Hadoop的JVM允许远程调试,如在`mapred-site.xml`中添加`<property><name>mapreduce.map.debug.port</name><value>5005</value></property>`,指定调试端口。 12. **测试远程调试**: 在你的IDE(如...

    eclipse3.6+hadoop-0.21.0插件配置使用

    - 若需调试,可以在代码中设置断点,然后使用`Debug As` -> `Map/Reduce Job`运行任务,Eclipse将提供调试功能。 通过以上步骤,你已经成功在Eclipse 3.6中配置并使用了Hadoop 0.21.0插件。这个插件使得开发人员能...

    Hadoop on redhat enterprise 5.4部署安装手记

    4. 配置Hadoop的环境变量,包括`HADOOP_HOME`、`PATH`,并编辑`hadoop-env.sh`文件设置`JAVA_HOME`。 5. 配置Hadoop的核心配置文件`core-site.xml`,指定HDFS的名称节点和临时目录。 6. 配置HDFS的配置文件`hdfs-...

    win7安装hadoop及eclipse调试mapreduce的配置方法

    - 编写MapReduce程序,使用Eclipse的Debug模式启动JobTracker进行调试。 在整个配置过程中,可能会遇到各种问题,如权限问题、网络通信问题、配置文件错误等。解决这些问题的关键是仔细检查每个步骤,确保配置文件...

Global site tag (gtag.js) - Google Analytics