a、导入到sqoop到eclipse中:下载sqoop 1.3的tar包解压,我们打开build.xml,发现<target name="eclipse" description="Generate Eclipse project">的target,我们只需要执行,ant eclipse,就可以ant脚本就可以给我们生成eclipse的工程文件,我们只需要在eclipse中导入即可。
b、调试sqoop:由于sqoop bin文件夹中的脚本,sqoop来启动java进程,java进程是sqoop脚本的子进程,sqoop脚本中配置了的许多环境变量需要传到sqoop程序中,所以直接,在eclipse中main函数执行,不能执行,所以需要远程调试java进程。
c、如何进行java进程调试:打开bin\sqoop,最后一行,发现,
exec ${HADOOP_HOME}/bin/hadoop com.cloudera.sqoop.Sqoop "$@",执行这句话,说明执行的hadoop脚本,要想进行远程调试,我们需要在hadoop脚本中加入,我们调试参数,我是这样加的,在hadoop脚本中加入,
HADOOP_DEBUG="-Xdebug -Xrunjdwp:transport=dt_socket,address=9991,server=y,su spend=y",然后在后面的脚本中加入这个选项就行,这样就能远程调试了。
例如,我执行./sqoop import --connect jdbc:mysql://localhost/TEST --username root --password root --table STUDENT,功能把student表中的数据导入到hdfs上,加入调试选项后,进程就会停下来,我们只需要eclipse进行远程调试,就像我们本地代码是一样的,可以打断点,可以看变量的值,很方便,具体eclipse 远程调试可以参照,http://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/,即可。接下就可以学习其源码了。
分享到:
相关推荐
2. **sqoop2环境搭建**:搭建sqoop2服务端环境,并确保能够正常工作。 3. **掌握sqoop2 shell命令**:熟练掌握sqoop2的命令行工具,这对于调试和验证Java API的正确性非常重要。 4. **Java API开发**:根据具体需求...
Eclipse作为开发环境,用于编写和调试Hadoop MapReduce程序。 二、数据导入 1. 数据库、表清单 在大数据平台中,数据通常以数据库和表的形式组织。需要创建合适的数据库和表结构来存储和管理数据。 2. 数据对象的...
Java是大数据领域的重要编程语言,课程中会教授基础的JAVA开发知识,包括Eclipse开发环境的使用,多线程技术,Socket网络编程,以及正则表达式等。Java反射技术允许在运行时检查和修改类的行为,这对于理解和调试...
同时,掌握如何使用Eclipse编写和调试Java程序,并学会如何管理和使用jar文件。对于数据库,尤其是MySQL,理解其基本原理也是必要的,这有助于后期的数据处理。最后,初步接触基于Web的开发流程,为后续的分布式计算...
- **Eclipse开发环境**:介绍Eclipse集成开发环境的安装与配置方法,包括如何在Eclipse中创建Java项目、编写代码、编译及运行程序。 - **多线程技术**:深入理解Java中的线程概念、线程生命周期以及线程间通信机制,...
- **Eclipse开发环境**:介绍如何使用Eclipse集成开发环境进行Java项目的创建、编辑、编译和调试。 - **多线程技术**:探讨Java中的线程生命周期、线程同步、线程池等高级特性。 - **Socket网络技术**:讲解如何利用...