hadoop2.2.0 源码远程调试

http://blog.sina.com.cn/s/blog_5ccc692d0101pikf.html

 

学习hadoop2.2.0，远程调试hadoop源码

 

note: 只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决.

1 把编译好的hadoop源代码导入eclipse

  

 

2 如果要调试hdfs，修改~/hadoop-2.2.0/bin/hdfs

  elif [ "$COMMAND" = "dfs" ] ; then

  CLASS=org.apache.hadoop.fs.FsShell

  HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=6666,server=y,suspend=y"

  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"

 

  监听设置在这个位置，suspend=y，就是说操作dfs命令时候会挂起在6666端口，进程会暂停，直到有客户端来连接这个端口，比如eclipse远程调试。

  

 

 

3 eclipse打开远程调试

  

 

4 要调试其他功能，根据脚本来设置监听即可

5 如果调试自己写的mapreduce（伪分布式，mapreduce采用local方式，保证使用单个jvm情况下，否则会有静听端口冲突），修改~/hadoop-2.2.0/bin/hadoop

   #exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

   exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=54321,server=y,suspend=n $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"

   修改~/hadoop-2.2.0/etc/hadoop/mapred-site.xml为local模式

   

执行hadoop jar ***.jar classname param...

即可进入远程debug模式。