这是复制表结构的命令,报错如下:
[hadoop@hadoop-t04 ~]$ sqoop create-hive-table --connect jdbc:oracle:thin:@172.17.1.188:1521:lhorcl --username sq --password sq --table buyy --hive-table buyy
12/01/31 10:37:06 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
12/01/31 10:37:06 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override
12/01/31 10:37:06 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc.
12/01/31 10:37:07 INFO manager.SqlManager: Using default fetchSize of 1000
12/01/31 10:37:07 INFO hive.HiveImport: Loading uploaded data into Hive
12/01/31 10:37:07 INFO manager.OracleManager: Time zone has been set to GMT
12/01/31 10:37:07 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM buyy t WHERE 1=0
12/01/31 10:37:09 INFO hive.HiveImport: Hive history file=/tmp/hadoop/hive_job_log_hadoop_201201311037_2039989600.txt
12/01/31 10:37:09 INFO hive.HiveImport: FAILED: Parse Error: line 1:36 mismatched input ')' expecting Identifier near '(' in column specification
12/01/31 10:37:09 INFO hive.HiveImport:
12/01/31 10:37:09 ERROR tool.CreateHiveTableTool: Encountered IOException running create table job: java.io.IOException: Hive exited with status 11
at com.cloudera.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:349)
at com.cloudera.sqoop.hive.HiveImport.executeScript(HiveImport.java:299)
at com.cloudera.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
at com.cloudera.sqoop.tool.CreateHiveTableTool.run(CreateHiveTableTool.java:60)
at com.cloudera.sqoop.Sqoop.run(Sqoop.java:146)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at com.cloudera.sqoop.Sqoop.runSqoop(Sqoop.java:182)
at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:221)
at com.cloudera.sqoop.Sqoop.runTool(Sqoop.java:230)
at com.cloudera.sqoop.Sqoop.main(Sqoop.java:239)
使用import命令,报错如下:
[hadoop@hadoop-t04 ~]$ sqoop import --connect jdbc:oracle:thin:@172.17.1.188:1521:lhorcl --username sq --password sq --table buyy --hive-import
12/01/31 10:34:58 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
12/01/31 10:34:58 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override
12/01/31 10:34:58 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc.
12/01/31 10:34:58 INFO manager.SqlManager: Using default fetchSize of 1000
12/01/31 10:34:58 INFO tool.CodeGenTool: Beginning code generation
12/01/31 10:34:59 INFO manager.OracleManager: Time zone has been set to GMT
12/01/31 10:34:59 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM buyy t WHERE 1=0
12/01/31 10:34:59 ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns!
希望大牛帮解决。
相关推荐
接下来使用`sqoop import`命令将Oracle数据库中的表`HADOOP_EVENT_INFO`导入到HDFS中,并同时导入到Hive表中。 ```bash sqoop import --connect jdbc:oracle:thin:@192.168.91.4:1521:ORCL --username JIAOTONG --...
在导入前,应确保源数据的格式与Hive可以接受的格式一致,或者在Sqoop命令中指定转换规则。 4. 分区问题:如果Hive表是分区表,而Sqoop导入时未正确处理分区,可能会导致数据分布不均或者丢失部分数据。确保在导入...
sqoop导入数据到hive
在本场景中,"sqoop连接Oracle11.2.0.2.0的驱动包"指的是使用Sqoop从Oracle数据库中提取数据时需要的特定驱动程序。这些驱动包包括ojdbc6_g.jar、ojdbc6.jar和ojdbc5.jar,它们是Oracle JDBC驱动程序的不同版本,...
Hadoop-Sqoop-Oracle 使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS(VMware) 后端-Java (JDK 1.8), Sqoop(v1.4.7) , Hadoop(v3.3.0) 库-OJDBC(v7),...
叶梓老师整理的Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册,非常实用
一、问题发现与分析 ...经过对比:sqoop在转换MySQL的datatime字段类型为hive的string时会出现问题:默认先转为对应时间戳,再转换为北京市区时间,就会使时间多8小时。 解决办法有两个: 1、在sql里将时间字段转换为
bdp2hive项目介绍一、概述项目主要是集成生成sqoop脚本和创建hive分区表组件。生成sqoop脚本组件主要通过传递的数据库信息查询数据库获取表字段与数据集之间的对照关系SQL语句,通过模板拼接成sqoop脚本,上传服务器...
例如,list-databases 命令用于列出 MySQL 数据库中的所有数据库,list-tables 命令用于列出指定数据库中的所有表格,import 命令用于将数据从 MySQL 导入到 Hive,export 命令用于将数据从 Hive 导出到 MySQL。...
在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统数据库迁移到 Hadoop 生态系统中的组件,如 Hive。 在本主题中,我们将深入探讨 Sqoop 的导入功能,特别是如何将数据从 MySQL ...
该项目是一个综合性的大数据分析实践,主要利用Hadoop生态系统中的组件,包括Sqoop、Hadoop、Hive以及MySQL,对电商数据进行深入分析。这个过程涵盖了数据的导入、存储、处理和查询等多个环节,展示了大数据技术在...
### sqoop2 Java API从Oracle导数据到HDFS开发总结 #### 整体说明与准备工作 本文档旨在帮助读者理解如何使用sqoop2的Java API将数据从Oracle数据库迁移至HDFS(Hadoop Distributed File System),同时分享了作者...
【标题】"yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive" 描述了一种使用Apache Sqoop工具将数据从MySQL数据库高效地导入到Hadoop的Hive数据仓库的过程。这个过程在大数据处理中至关重要,因为它允许用户...
mysql,sqoop,spark,hive工作流管道它将通过两个表order和order_items产生每日收入Sqoop 以“ parquet”格式将订单和order_items数据从mysql导入到hdfs 在这里,我们正在创建sqoop作业以用于增量数据导入命令订单...
Hadoop HBbase HIVE Sqoop概念介绍说明,及和RDBMS的比较
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...
最初的设计方案是通过 Sqoop 将数据从 PostgreSQL 导入到 Kafka,再通过存储程序将 Kafka 的数据保存至 Hive 或 HBase 中。然而,在实施过程中遇到了 Sqoop 版本兼容性问题: - **Sqoop1**:适用于命令行模式执行。...
Sqoop 是一个专门用于将 Hadoop 和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL、Oracle、Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库...
出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.... at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Sqoop连接Oracle必备ojdbc6