`
侯上校
  • 浏览: 225751 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

sqoop导出到mysql数据库

 
阅读更多

sqoop:000> create job --xid 1 --type export
Creating job for connection with id 1
Please fill following values to create new job object
Name: export_emp

Database configuration

Schema name: schools
Table name: emp
Table SQL statement:
Table column names:
Stage table name:
Clear stage table:

Input configuration

Input directory: /opt/hadoop/mysql/emp

Throttling resources

Extractors:
Loaders:
New job was successfully created with validation status FINE  and persistent id 4
sqoop:000> show job
+----+-------------+--------+-----------+---------+
| Id |    Name     |  Type  | Connector | Enabled |
+----+-------------+--------+-----------+---------+
| 1  | mysqlImport | IMPORT | 1         | true    |
| 2  | emp_dept    | IMPORT | 1         | true    |
| 3  | testExport  | EXPORT | 1         | true    |
| 4  | export_emp  | EXPORT | 1         | true    |
+----+-------------+--------+-----------+---------+
sqoop:000> start job --jid 4
Submission details
Job ID: 4
Server URL: http://hadoopMaster:12000/sqoop/
Created by: hadoop
Creation date: 2014-05-30 12:58:53 CST
Lastly updated by: hadoop
External ID: job_local1529531301_0004
    http://localhost:8080/
2014-05-30 12:58:53 CST: BOOTING  - Progress is not available

 

 

mysql> select * from emp;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | Dennis-1  |
|  2 | Dennis-2  |
|  3 | Dennis-3  |
|  4 | Dennis-4  |
|  5 | Dennis-5  |
|  6 | Dennis-6  |
|  7 | Dennis-7  |
|  8 | Dennis-8  |
|  9 | Dennis-9  |
| 10 | Dennis-10 |
| 11 | Dennis-11 |
| 12 | Dennis-12 |
| 13 | Dennis-13 |
| 14 | Dennis-14 |
| 15 | Dennis-15 |
| 16 | Dennis-16 |
| 17 | Dennis-17 |
| 18 | Dennis-18 |
| 19 | Dennis-19 |
| 20 | Dennis-20 |
+----+-----------+
20 rows in set (0.00 sec)

分享到:
评论

相关推荐

    3、Sqoop导出(HDFS到RMDB-mysql)

    在本文中,我们将深入探讨如何使用Sqoop将数据从HDFS(Hadoop分布式文件系统)导出到MySQL数据库,这属于ETL(提取、转换、加载)过程的一部分。 **一、Sqoop导出介绍** Sqoop提供了三种不同的导出模式来将HDFS中...

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统数据库迁移到 Hadoop 生态系统中的组件,如 Hive。 在本主题中,我们将深入探讨 Sqoop 的导入功能,特别是如何将数据从 MySQL ...

    数据同步Sqoop用法之mysql与Hive导入导出.docx

    Sqoop 是一个专门用于将 Hadoop 和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL、Oracle、Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库...

    hue平台oozie工作流操作sqoop,把mysql.pdf

    本文主要讲述在Hue平台使用Oozie工作流操作Sqoop工具将MySQL数据库的数据传输到HDFS中,并最终导入到Hive表中的经验。以下是详细知识点: 1. Hue平台和Oozie工作流简介: Hue是一种开源的用户界面,用于简化与...

    使用sqoop抽取mysql数据

    通过对上述知识点的理解和实践,你将能够有效地利用 Sqoop 工具进行 MySQL 数据库到 Hadoop 集群的数据迁移,同时通过观察并发、数据量等因素对性能的影响,可以优化 Sqoop 的配置,提升数据处理的效率。

    sqoop 从 hive 导到mysql遇到的问题.docx

    Sqoop 的核心概念是将数据从一个数据源(如 MySQL)传输到另一个数据源(如 Hive),或者从 Hive 导出数据到 MySQL 等关系数据库管理系统。Sqoop 使用 JDBC 连接器来连接不同类型的数据库,实现数据的传输和映射。 ...

    23-Sqoop数据导入导出1

    ### Sqoop导出原理 1. **选择导出方法**: Sqoop根据目标数据库确定导出方式,通常是JDBC。 2. **生成Java类**: 根据目标表结构,Sqoop生成用于解析记录和插入数据库的Java类。 3. **MapReduce作业**: 启动...

    Sqoop数据库数据导入导出教程PDF

    把数据从Hadoop系统里面抽取并导出到关系型数据库中 利用MapReduce加快数据处理速度 ·批处理方式进行数据传输 Sqoop 优势 ·¬高效、可控地利用资源 任务并行度,超时时间等 数据类型映射与转换 ,可自动进行,用户也...

    mysql-connector-5.1.39,配合sqoop1.4.7和hive2.1.1使用

    1. **数据导入**:使用Sqoop,你可以通过指定MySQL数据库的连接参数(如主机名、端口、用户名、密码和数据库名),将MySQL中的数据高效地导入到Hadoop集群的HDFS中。`mysql-connector-5.1.39`在这个过程中起到桥梁...

    hive2.1.1_mysql_sqoop.zip

    然后,你可以使用Sqoop命令行工具,结合Hive的HQL,实现从MySQL数据库到HDFS的数据迁移,或者反过来,将处理过的数据写回到MySQL。这整个过程简化了大数据处理的流程,使得数据的导入导出变得更加高效和便捷。 总结...

    hadoop大数据平台技术与应用--第7章数据迁移工具Sqoop.pdf

    6. 将MySQL驱动包复制到Sqoop的lib目录下:这一步是为了使Sqoop能够与MySQL数据库交互。 7. 测试与MySQL的连接:通过Sqoop提供的命令测试是否能够成功连接到MySQL数据库。 ### Sqoop常用命令 Sqoop提供了一系列的...

    sqoop需要导入的包

    当你使用 Sqoop 导入或导出 MySQL 数据时,这个驱动会帮助 Sqoop 建立到 MySQL 数据库的连接,执行 SQL 查询,并传输数据。确保你已经将此 JAR 文件放在 Hadoop 的类路径 (classpath) 中,这样 Sqoop 在运行时能够...

    大数据实践-sqoop数据导入导出.doc

    3. 将MySQL的JDBC驱动复制到Sqoop的lib目录,确保 Sqoop 能够连接到MySQL数据库。 4. 使用root权限配置环境变量,添加SQOOP_HOME并更新PATH。 5. 创建并编辑`sqoop-env.sh`文件,设置Hadoop、HBase、Hive等相关路径...

    星环大数据平台_Sqoop数据导入.pdf

    4. 为Sqoop添加MySQL驱动:在进行数据导入之前,需要确保Sqoop能识别和连接到MySQL数据库,这通常需要添加相应的JDBC驱动。 在实验过程中,也涉及到了Linux命令行操作和SQL语句的编写。对于SQL部分,演示了如何创建...

    Sqoop使用手册(高清书签)

    例如,对于MySQL数据库,可以将对应的mysql-connector-java驱动包放到指定的Java类路径下。 需要注意的是,由于文档部分文字可能是OCR扫描识别的结果,可能会存在个别字识别错误或漏识别的情况,因此在实际使用时,...

    实验13-sqoop数据集成.docx

    本实验的主要目的就是熟悉Sqoop数据集成,通过安装和配置Sqoop、MySQL数据库,并使用Sqoop工具将数据从MySQL数据库中导入到HDFS中。 一、实验准备 在进行实验之前,需要准备好实验用的硬件和软件环境。硬件环境...

    sqoop安装工具

    Sqoop是通过MapReduce任务来执行数据迁移的,它可以将结构化的数据从关系数据库(如MySQL)导入到Hadoop的HDFS,或者将HDFS中的数据导出到关系数据库。Sqoop的工作流程通常包括连接数据库、定义导入导出参数、执行...

    分布式数据库课程设计+基于Hbase的滴滴出行数据分析+Hive+Hadoop+Mysql+Sqoop+可视化

    使用 Sqoop 将 Hive 中处理后的数据导出到 MySQL 数据库,这样可以将大数据分析的结果与传统的业务系统结合,方便进行报表展示和业务决策。 4. 数据可视化展示 最后,通过 Python 编程实现对 MySQL 中数据的可视化...

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    通过Sqoop,我们可以将结构化的数据导入到Hadoop的HDFS中,或者将Hadoop中的数据导出到关系数据库。安装Sqoop需要确保已安装Hadoop和JDBC驱动,配置相关环境变量,如SQOOP_HOME,然后下载并解压Sqoop的源码或二进制...

Global site tag (gtag.js) - Google Analytics