oozie 调用sqoop导入hive表错误处理

这个问题，搞了整整三天。
都想骂娘了。
由于是尼玛oozie调用mapreduce调用sqoop然后调用hive，关系比较复杂。
所以错误定位搞了好久。

症状描述：
用oozie调用sqoop，将数据表从mysql直接导入到hive的过程中。
全部过程都能执行完毕，数据也导进去了。
但是，那个oozie的job的结果显示是killed的。当然咯，那个action节点的结果也显示是failed的。




问题定位：

最后问题找到了，应该是sqoop的一个bug。
sqoop的org.apache.sqoop.hive.HiveImport类中，
引用了一个com.cloudera.sqoop.util.ExitSecurityException这个类。
而在HiveImport.java的305行：Throwable cause = ite.getCause();
cause返回的是org.apache.sqoop.util.ExitSecurityException这个类。
所以导致306行if判断返回false，实际上应该返回true。

305            Throwable cause = ite.getCause();
306            if (cause instanceof ExitSecurityException) {
307                ExitSecurityException ese = (ExitSecurityException) cause;
308                int status = ese.getExitStatus();
309                if (status != 0) {
310                    throw new IOException("Hive CliDriver exited with status=" + status);
311                }
312            } else {
313                throw new IOException("Exception thrown in Hive", ite);
314            }

解决方法：
找到HiveImport.java的import部分，
把原来的：com.cloudera.sqoop.util.ExitSecurityException
换成：import org.apache.sqoop.util.ExitSecurityException
即可。

另外，这个修改后的sqoop的jar包，是应该放在workflow执行时指定的hdfs中的lib里的。



使用的版本：
hadoop：1.0.3
oozie：3.1.3
sqoop：1.4.1
hive：0.8.1

评论

4 楼 developerinit 2015-08-03  

我用的cdh5.3.2的oozie4.0调度sqoop（从oracle导入hive中），sqoop脚本单独执行毫无问题，但是用oozie调度时是失败的（mr却显示成功）且没有成功导入hive中，请赐教是哪里出了问题，很多方法都试过了，还是不行。。。。

3 楼 blackproof 2015-03-26  

我也用sqoop从mysql导入到hdfs，-query后边怎么写
我这么写，都把空格换成回车了
--query "SELECT merchant_id tagid,GROUP_CONCAT(s
ite_id) taglist FROM gwk_site_filter where \$CONDITIONS GROUP BY merchant_id"

2 楼 hasayake0302 2013-02-05  

hasayake0302 写道

我昨天遇到的问题就是这个。。

昨天问你的

1 楼 hasayake0302 2013-02-05  

我昨天遇到的问题就是这个。。