hadoop远程调试

之前的一篇blog里讲述了hadoop单机版调试的方法，那种调试只限于单机运行hadoop命令而已，对于运行整个hadoop环境而言是不可取的，因为hadoop会开启多个java进程，如果统一为一个端口启动，则启动会报错说端口被占用，同时对于jdwp agent而言也只能加载一次，故调试时单机只能有一个java进程开启debug模式，其实这个也足够了。

 

通过分析hadoop的启动脚本不难发现，每个java进程的启动参数可以在hadoop-env.sh这个文件里传递进去，故为了增加调试选项可以在这个文件里增加如下几段：

 

HADOOP_NAMENODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y"
#HADOOP_SECONDARYNAMENODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8789,server=y,suspend=y"
#HADOOP_DATANODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8790,server=y,suspend=y"
#HADOOP_BALANCER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8791,server=y,suspend=y"
#HADOOP_JOBTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y"
#HADOOP_TASKTRACKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8793,server=y,suspend=y"

 这里因为是单机运行一些java进程，故这里只保留一个进程开启debug模式，当有多个机器单独运行每个java进程时，可以按照功能来打开相对应的java debug模式。

评论

3 楼 houyibo 2011-12-16  

sorry，在一楼，点错图标了，居然不给删除

2 楼 houyibo 2011-12-16  

1 楼 houyibo 2011-12-16