`

sqoop 1.99.6遇到的错误

 
阅读更多

1、create job 时:

There are issues with entered data, please revise your input:

说明配置有错,请重新检查各输入项

 

2、create job 时:

Last value is required during incremental read

是因为Check column: 输入了值,所以要求输入 Last value

 

3、接上一问题,输入Last value后:

Size of input exceeds allowance for this input field. Maximal allowed size is -1

怎么都没办法输入正确,一个字符也不行,重新配置时把Check column 项清空就好了

 

4、start job -j 1时:

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception

根本不知道这个提示说什么,通过修改设置:

set option --name verbose --value true

,再次执行 start job -j 1,显示出有用的出错信息:

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception
Stack trace:
         at  org.apache.sqoop.client.request.ResourceRequest (ResourceRequest.java:129)
...
Caused by: Exception: org.apache.sqoop.common.SqoopException Message: GENERIC_HDFS_CONNECTOR_0007:Invalid output directory - Unexpected exception
Stack trace:
         at  org.apache.sqoop.connector.hdfs.HdfsToInitializer (HdfsToInitializer.java:71)
...
Caused by: Exception: java.net.ConnectException Message: Call From localhost.localdomain/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
Stack trace:
         at  sun.reflect.NativeConstructorAccessorImpl (NativeConstructorAccessorImpl.java:-2)
...
Caused by: Exception: java.net.ConnectException Message: 拒绝连接
Stack trace:
         at  sun.nio.ch.SocketChannelImpl (SocketChannelImpl.java:-2)
...

 在$HADOOP_HOME/etc/hadoop/core-site.xml 检查默认端口为 9000,重新修改连到HDFS的Link配置,重新执行job,问题解决。

 

待续...

 

 

 

 

分享到:
评论

相关推荐

    sqoop-1.4.7.zip

    在这个场景中,我们遇到了一个关于Sqoop运行时的问题,即"找不到或无法加载主类 org.apache.sqoop.sqoop"。这个问题通常是由于Java运行环境配置不正确或者 Sqoop 的依赖库没有被正确地包含在执行环境中所导致的。 ...

    sqoop导出数据到mysql故障处理---完整检查日志方法总结.txt

    sqoop问题处理通用办法,首先详细描绘了一个sqoop实际问题得处理过程,然后延申到完整得hadoop日志得处理过程。非常具体实用。

    sqoop-cdh安装包

    4. **配置错误**:确认`$SQOOP_HOME/conf`目录下的`sqoop-site.xml`配置文件是否正确设置了Hadoop和数据库连接参数。 **工具包内容**: - `sqoop-cdh安装`文件可能包含: - Sqoop二进制文件:包括`bin/`目录下的...

    Sqoop安装与使用

    Sqoop 安装与使用 Sqoop 是一款方便的在传统型数据库与 Hadoop 之间进行数据迁移的工具,充分利用 MapReduce 并行特点以批处理的方式加快数据传输。Sqoop 工具是 Hadoop 下连接关系型数据库和 Hadoop 的桥梁,支持...

    Sqoop集群搭建.

    Sqoop集群搭建指南 Sqoop是一款开源的数据转换工具,由 Apache 软件基金会开发,主要用于在 Hadoop 集群和结构化数据存储之间移动数据。Sqoop 集群搭建是指在 Hadoop 集群环境中安装和配置 Sqoop,以实现数据的高效...

    sqoop2安装文档

    - 如果在配置过程中遇到任何问题,请检查所有路径和变量是否正确设置。 - Sqoop2需要MySQL驱动程序以支持从MySQL数据库导入数据。因此,确保正确安装并配置MySQL驱动程序至关重要。 - 初始化和服务启动可能需要一段...

    sqoop-javabean-sqoop脚本分隔符失效问题

    当我们遇到"sqoop-javabean-sqoop脚本分隔符失效问题"时,这通常意味着在使用Sqoop将数据库表数据导出到Hadoop HDFS或转化为Java Beans的过程中,预设的字段分隔符没有按照预期工作。 首先,让我们了解Sqoop的工作...

    使用sqoop抽取mysql数据

    7. ** 错误处理与重试**:在数据迁移过程中,可能会遇到网络问题或数据库错误。通过设置 Sqoop 的错误处理策略,比如跳过错误行或设定重试次数,可以提高数据抽取的鲁棒性。 8. ** 优化技巧**:为了提高效率,可以...

    sqoop安装详解以及sqoop介绍

    sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换 2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中...

    sqoop安装与使用

    **注意**:`--target-dir`所指定的路径必须不存在,否则会引发错误。 **增量导入**:除了全量导入外,还可以选择增量导入,支持两种模式: 1. **Append模式**:仅导入新插入的记录。 2. **Lastmodified模式**:...

    sqoop的原理及概念

    Sqoop 的原理及概念 Sqoop 是一个开源的工具,用于在关系型数据库(RDBMS)和 Hadoop 之间进行高效的大数据交流。下面是 Sqoop 的原理和概念: 一、Sqoop 的架构 Sqoop 的架构非常简单,整合了 Hive、Hbase 和 ...

    sqoop-1.4.7.jar

    解决错误:Could not find or load main class org.apache.sqoop.Sqoop。把这个sqoop-1.4.7.jar放到sqoop根目录下的lib目录中,即可。 如果你没有积分,也可以自己去这个地址下载:...

    Hadoop-Sqoop配置

    Hadoop-Sqoop配置 Sqoop 是一种数据迁移工具,主要用于在结构化数据源和 Hadoop 之间进行数据迁移。Sqoop 可以连接各种数据源,如 MySQL、PostgreSQL、Oracle 等,并将数据导入 Hadoop 中。 Sqoop 的主要特点是...

    sqoop 从 hive 导到mysql遇到的问题.docx

    Sqoop 从 Hive 导入 MySQL 遇到的问题 Sqoop 是一个开源的数据传输工具,由 Apache 社区维护,用于在 Hadoop 和结构化数据存储之间传输数据。Sqoop 支持多种数据源,包括 MySQL、Oracle、PostgreSQL 等关系数据库...

    sqoop-1.4.5.tar.gz

    3. **错误处理**:在大规模数据迁移中,可能会遇到数据不一致、网络问题等错误,需要对 Sqoop 的错误处理机制有所了解,以便在出现问题时进行调试。 4. **性能调优**:通过合理设置参数如 `--m`(Map任务数量)、`-...

    大数据技术基础实验报告-sqoop的安装配置与应用.doc

    【大数据技术基础实验报告——Sqoop的安装配置与应用】 Sqoop是一款用于在Apache Hadoop和关系型数据库之间传输数据的工具,它简化了大量数据的导入导出过程。本实验报告将详细介绍如何安装配置Sqoop以及如何使用...

    sqoop-1.4.7(可直接下载学习使用)附有安装配置教程!

    内容概要:Sqoop 1.4.7 安装包主要包括以下内容:Sqoop 命令行工具:用于执行数据迁移任务的客户端工具。连接器:Sqoop 支持多种数据库连接器,包括 MySQL、PostgreSQL、Oracle 等,用于连接目标数据库。元数据驱动...

    eclipse-sqoop.

    当我们遇到与Sqoop相关的开发和调试问题时,通常会利用Eclipse的强大的调试功能来定位和解决。本篇将详细探讨如何在Eclipse中设置和使用远程调试来处理Sqoop的问题。 首先,为了在Eclipse中进行远程调试,我们需要...

    sqoop jdbc驱动包

    sqoop 导入数据时候报错ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdbc.OracleDriver 缺少驱动包。

    sqoop2的安装包

    Sqoop2是一款用于在Hadoop和关系数据库管理系统(RDBMS)之间进行数据迁移的工具。它是Apache Sqoop项目的第二代版本,旨在提供更高级的功能和更好的可扩展性,以支持大数据环境中的复杂数据导入导出任务。在这个...

Global site tag (gtag.js) - Google Analytics