下面是运行sqoop命令的控制台信息,所用非关系型数据库为vertica,求大神指导 sqoop命令为: sqoop export -D mapred.job.queue.name=rtbqueue --connect jdbc:vertica://192.168.1.3:5433/test --driver com.vertica.jdbc.Driver --username test --password teset --table tes.hive_test2 --export-dir /apps/hive/warehouse/help_keyword --fields-terminated-by '\t' --lines-terminated-by '\n';
14/12/25 20:37:21 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5 14/12/25 20:37:21 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 14/12/25 20:37:21 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time. 14/12/25 20:37:21 INFO manager.SqlManager: Using default fetchSize of 1000 14/12/25 20:37:21 INFO tool.CodeGenTool: Beginning code generation 14/12/25 20:37:21 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM dim.hive_test2 AS t WHERE 1=0 14/12/25 20:37:21 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM dim.hive_test2 AS t WHERE 1=0 14/12/25 20:37:21 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/hdp_client/hadoop-2.2.0.2.0.6.0-76 注意:/tmp/sqoop-hzadmin/compile/94c3eb9ffbca97ae71334e9cd46ae86a/dim_hive_test2.java 使用或覆盖了已过时的 API。 注意:要了解详细信息,请使用 -Xlint:deprecation 重新编译。 14/12/25 20:37:23 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hzadmin/compile/94c3eb9ffbca97ae71334e9cd46ae86a/dim.hive_test2.jar 14/12/25 20:37:23 INFO mapreduce.ExportJobBase: Beginning export of dim.hive_test2 14/12/25 20:37:23 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 14/12/25 20:37:23 WARN mapreduce.ExportJobBase: Input path hdfs://TelecomHDP/apps/hive/warehouse/help_keyword contains no files 14/12/25 20:37:23 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM dim.hive_test2 AS t WHERE 1=0 14/12/25 20:37:24 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative 14/12/25 20:37:24 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative 14/12/25 20:37:24 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 14/12/25 20:37:24 INFO client.RMProxy: Connecting to ResourceManager at RTB-HDP-NN-01/192.168.13.15:8050 14/12/25 20:37:26 INFO input.FileInputFormat: Total input paths to process : 0 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 14/12/25 20:37:26 INFO input.FileInputFormat: Total input paths to process : 0 14/12/25 20:37:26 INFO mapreduce.JobSubmitter: number of splits:0 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.job.classpath.files is deprecated. Instead, use mapreduce.job.classpath.files 14/12/25 20:37:26 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.cache.files.filesizes is deprecated. Instead, use mapreduce.job.cache.files.filesizes 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.cache.files is deprecated. Instead, use mapreduce.job.cache.files 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.mapoutput.value.class is deprecated. Instead, use mapreduce.map.output.value.class 14/12/25 20:37:26 INFO Configuration.deprecation: mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name 14/12/25 20:37:26 INFO Configuration.deprecation: mapreduce.inputformat.class is deprecated. Instead, use mapreduce.job.inputformat.class 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir 14/12/25 20:37:26 INFO Configuration.deprecation: mapreduce.outputformat.class is deprecated. Instead, use mapreduce.job.outputformat.class 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.job.queue.name is deprecated. Instead, use mapreduce.job.queuename 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.cache.files.timestamps is deprecated. Instead, use mapreduce.job.cache.files.timestamps 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.mapoutput.key.class is deprecated. Instead, use mapreduce.map.output.key.class 14/12/25 20:37:26 INFO Configuration.deprecation: mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir 14/12/25 20:37:26 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1411732575730_9936 14/12/25 20:37:27 INFO impl.YarnClientImpl: Submitted application application_1411732575730_9936 to ResourceManager at RTB-HDP-NN-01/192.168.13.15:8050 14/12/25 20:37:27 INFO mapreduce.Job: The url to track the job: http://RTB-HDP-NN-01:8088/proxy/application_1411732575730_9936/ 14/12/25 20:37:27 INFO mapreduce.Job: Running job: job_1411732575730_9936 14/12/25 20:37:35 INFO mapreduce.Job: Job job_1411732575730_9936 running in uber mode : false 14/12/25 20:37:35 INFO mapreduce.Job: map 0% reduce 0% 14/12/25 20:37:37 INFO mapreduce.Job: Job job_1411732575730_9936 completed successfully 14/12/25 20:37:38 INFO mapreduce.Job: Counters: 2 Job Counters Total time spent by all maps in occupied slots (ms)=0 Total time spent by all reduces in occupied slots (ms)=0 14/12/25 20:37:38 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 14/12/25 20:37:38 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 14.045 seconds (0 bytes/sec) 14/12/25 20:37:38 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 14/12/25 20:37:38 INFO mapreduce.ExportJobBase: Exported 0 records.
相关推荐
在 Hadoop 生态系统中,Sqoop 提供了一种高效、可扩展的方式,用于将大量结构化数据导入到 Hadoop 分布式文件系统(HDFS)中,或者将数据导出回传统的关系型数据库。这使得 Hadoop 能够处理来自企业级数据库的数据,...
Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系型数据库(如SQL Server)与Hadoop Distributed File System(HDFS)之间传输数据。在这个"Sqoop-sqlserver-hdfs.rar"压缩包中,我们有两个关键文件:sqljdbc....
Sqoop 是 Apache Hadoop 生态系统中的一个重要组件,它主要用于在关系型数据库(如 MySQL、Oracle 等)与 Hadoop 分布式文件系统(HDFS)之间进行数据迁移。 Sqoop 的设计目标是提供高效率、大规模的数据导入和导出...
Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间高效传输数据的工具。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了...
Sqoop是一款开源的数据迁移工具,它主要用于在关系型数据库(如MySQL、Oracle等)和Hadoop之间进行数据的导入导出。在大数据处理中,Sqoop扮演着至关重要的角色,它提供了高效、灵活且方便的数据传输方式。本文将...
Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间高效地传输数据。这个压缩包 "sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar" 提供...
Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系型数据库(如MySQL、Oracle等)和Hadoop之间进行数据的导入导出。这个压缩包"sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz"是Sqoop 1.4.3版本针对Hadoop 1.0.0的二...
Sqoop 是一个在 Hadoop 生态系统中用于数据导入导出的工具,它允许用户将关系型数据库(如 MySQL、Oracle 等)中的数据高效地导入到 Hadoop 的 HDFS 中,或者从 HDFS 导回到关系型数据库。这个"sqoop-1.4.6-hadoop-...
4. **数据导出**:除了导入,Sqoop还可以将HDFS中的数据导出到关系型数据库中。通过`sqoop export`命令,指定相应的输出表名和HDFS路径。 5. **其他特性**:Sqoop还支持分片导入、增量导入、合并导入等多种高级功能...
1. 数据提取: Sqoop 提供了命令行接口,允许用户从传统的关系型数据库管理系统(如 MySQL、Oracle、PostgreSQL 等)中抽取数据。它支持多种 JDBC 驱动,因此可以轻松连接到各种 RDBMS。 2. 数据转换:在导入数据到...
Apache Sqoop 是另一个重要的组件,它是用来高效地在关系型数据库和Hadoop之间导入导出数据的工具。而Zookeeper则是Apache的一个分布式协调服务,它为分布式应用程序提供了可靠的同步、命名服务等。 `apache-atlas-...
Sqoop 是一个在大数据生态系统中广泛使用的工具,主要用于在关系型数据库(如 MySQL、Oracle、SQL Server 等)和 Apache Hadoop 之间高效地导入和导出数据。标题 "sqoop-1.4.6-cdh5.9.3" 指的是 Sqoop 的一个特定...
Apache Sqoop 是一个用于在关系型数据库(如 MySQL 和 Sybase)与 Hadoop 分布式文件系统(HDFS)之间高效传输数据的工具。在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统...
Sqoop 是一个开源工具,主要用于在关系型数据库(如 MySQL、Oracle 等)与 Apache Hadoop 之间进行数据迁移。这个压缩包 "sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz" 包含了 Sqoop 的 1.4.6 版本,该版本是针对 Apache ...
Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间高效地传输数据。这个压缩包“sqoop-1.4.6-cdh5.14.2.tar”是 Sqoop 的一个特定...
Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系型数据库(如MySQL、Oracle等)与Hadoop的HDFS之间进行数据导入导出。 Sqoop-1.4.6是该工具的一个版本,它提供了高效、可靠且灵活的数据迁移功能,使得大数据...
Sqoop是一个用于在关系型数据库和Hadoop之间传输数据的工具,它利用Hadoop的MapReduce框架实现大规模数据的高效导入和导出。本篇将详细介绍Sqoop的导入和导出过程,以及在MySQL、HDFS、Hive和HBase之间的具体操作。 ...
Sqoop 是一个开源工具,主要用于在关系型数据库(如 MySQL、Oracle 等)与 Hadoop 分布式文件系统(HDFS)之间高效地导入和导出数据。它弥补了传统 ETL 工具在大数据处理场景下的不足,提供了一种简单、灵活的方式来...
Sqoop是Apache Hadoop生态中的一个工具,用于在Hadoop和关系型数据库之间高效地导入导出数据。在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装和使用Sqoop,可以方便地将结构化数据从传统的...
Sqoop是Apache Hadoop生态中的一个工具,用于在Hadoop和关系型数据库之间高效地导入导出数据。在这个名为“sqoop-jar.zip”的压缩包中,包含了Sqoop 1.4.7和1.4.6两个版本的jar文件,以及与Hive相关的jar包,这些...