`
MyEyeOfJava
  • 浏览: 1152260 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7af2d6ca-4fe1-3e9a-be85-3f65f7120bd0
测试开发
浏览量:71173
533896eb-dd7b-3cde-b4d3-cc1ce02c1c14
晨记
浏览量:0
社区版块
存档分类
最新评论

[Hadoop]Sqoop 1.4.2中文文档(二)之数据导出

阅读更多
一、sqoop-export
相关参数:
usage: sqoop export [GENERIC-ARGS] [TOOL-ARGS]

Common arguments:
   --connect <jdbc-uri>                         Specify JDBC connect
                                                string
   --connection-manager <class-name>            Specify connection manager
                                                class name
   --connection-param-file <properties-file>    Specify connection
                                                parameters file
   --driver <class-name>                        Manually specify JDBC
                                                driver class to use
   --hadoop-home <dir>                          Override $HADOOP_HOME
   --help                                       Print usage instructions
-P                                              Read password from console
   --password <password>                        Set authentication
                                                password
   --username <username>                        Set authentication
                                                username
   --verbose                                    Print more information
                                                while working

Export control arguments:
   --batch                         Indicates underlying statements to be
                                   executed in batch mode
   --clear-staging-table           Indicates that any data in staging
                                   table can be deleted
   --direct                        Use direct export fast path
   --export-dir <dir>              HDFS source path for the export
-m,--num-mappers <n>               Use 'n' map tasks to export in parallel
   --staging-table <table-name>    Intermediate staging table
   --table <table-name>            Table to populate
   --update-key <key>              Update records by specified key column
   --update-mode <mode>            Specifies how updates are performed
                                   when new rows are found with
                                   non-matching keys in database

Input parsing arguments:
   --input-enclosed-by <char>               Sets a required field encloser
   --input-escaped-by <char>                Sets the input escape
                                            character
   --input-fields-terminated-by <char>      Sets the input field separator
   --input-lines-terminated-by <char>       Sets the input end-of-line
                                            char
   --input-optionally-enclosed-by <char>    Sets a field enclosing
                                            character

Output line formatting arguments:
   --enclosed-by <char>               Sets a required field enclosing
                                      character
   --escaped-by <char>                Sets the escape character
   --fields-terminated-by <char>      Sets the field separator character
   --lines-terminated-by <char>       Sets the end-of-line character
   --mysql-delimiters                 Uses MySQL's default delimiter set:
                                      fields: ,  lines: \n  escaped-by: \
                                      optionally-enclosed-by: '
   --optionally-enclosed-by <char>    Sets a field enclosing character

Code generation arguments:
   --bindir <dir>                        Output directory for compiled
                                         objects
   --class-name <name>                   Sets the generated class name.
                                         This overrides --package-name.
                                         When combined with --jar-file,
                                         sets the input class.
   --input-null-non-string <null-str>    Input null non-string
                                         representation
   --input-null-string <null-str>        Input null string representation
   --jar-file <file>                     Disable code generation; use
                                         specified jar
   --map-column-java <arg>               Override mapping for specific
                                         columns to java types
   --null-non-string <null-str>          Null non-string representation
   --null-string <null-str>              Null string representation
   --outdir <dir>                        Output directory for generated
                                         code
   --package-name <name>                 Put auto-generated classes in
                                         this package

Generic Hadoop command-line arguments:
(must preceed any tool-specific arguments)
Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|jobtracker:port>    specify a job tracker
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.


从这里我们可以看到,大部分的参数使用是与导入相同的,只有少部分是导出专用的。

既然导入和导出的道理都是相同的,那么我就不按照自己的理解把官网上的话变成自己的话了。直接看一个例子:(这里如果你不懂,请把数据导入完整看完)
$ sqoop export --connect jdbc:mysql://db.example.com/foo --table bar  \
    --export-dir /results/bar_data


分享到:
评论

相关推荐

    sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar

    Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间高效地传输数据。这个压缩包 "sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar" 提供...

    Hadoop Sqoop介绍及安装部署.pdf

    总的来说,Hadoop Sqoop是一个强大的数据迁移工具,它简化了传统数据库与Hadoop生态系统之间的数据交换,为企业的大数据处理提供了灵活的数据接入能力。通过合理配置和使用, Sqoop可以在大数据项目中发挥重要作用,...

    Hadoop-Sqoop配置

    Sqoop 是一种数据迁移工具,主要用于在结构化数据源和 Hadoop 之间进行数据迁移。Sqoop 可以连接各种数据源,如 MySQL、PostgreSQL、Oracle 等,并将数据导入 Hadoop 中。 Sqoop 的主要特点是可以将结构化数据源...

    sqoop2安装文档

    Sqoop是一款开源工具,主要用于在Hadoop和关系型数据库之间高效地传输数据。Sqoop2是Sqoop的一个重大升级版本,它引入了全新的架构和改进的功能,使得数据迁移更加稳定可靠。本文档将详细介绍Sqoop2的安装步骤及配置...

    hadoop_sqoop-1.4.6.bin__hadoop-2.0.4-alpha.rar limux用

    解决这些问题通常需要仔细阅读错误信息,检查配置文件,甚至查看Hadoop和Sqoop的官方文档或社区论坛。 总结来说,Hadoop_Sqoop 1.4.6与Hadoop 2.0.4-alpha的集成为大数据处理提供了一个强大且灵活的平台,使得数据...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...

    大数据离线分析系统,基于hadoop的hive以及sqoop的安装和配置

    在`hive-sqoop语句.txt`中,可能列出了各种 Sqoop 命令示例,例如导入数据、导出数据,甚至执行复杂的数据库查询。安装时,需要配置数据库连接信息,比如JDBC驱动和数据库连接URL,同时还要确保Hadoop的环境变量已经...

    数据同步Sqoop用法之mysql与Hive导入导出.docx

    Sqoop 用法之 MySQL 与 Hive 导入导出 Sqoop 是一个专门用于将 Hadoop 和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL、Oracle、Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也...

    Sqoop中文文档

    Sqoop中文文档 Sqoop是一款功能强大且广泛应用于大数据领域的数据导入工具,该工具可以将关系数据库中的数据导入到Hadoop生态系统中,如Hive、HBase等。本文档旨在为读者提供一个全面的Sqoop中文手册,涵盖了Sqoop...

    hadoop0.20.2使用sqoop必需包

    hadoop使用sqoop-1.2.0-CDH3B4.tar.gz需要将此包的hadoop-core-0.20.2-CDH3B4拷贝到sqoop/lib目录下

    hadoop软件1,和hive_3,sqoop_2搭配使用

    Sqoop提供了一种高效、安全的方式,将结构化的数据导入到Hadoop HDFS,或者从Hadoop导出到关系型数据库中。它支持多种数据库系统,如MySQL、Oracle等,使得用户可以轻松地将企业级数据库的数据整合到Hadoop生态中...

    hadoop2.7中文文档

    hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文...

    hadoop平台下的数据导入导出工具sqoop

    通过上述内容的学习,我们可以了解到Sqoop在Hadoop平台下作为一款强大的数据迁移工具,不仅可以高效地完成数据的导入导出工作,还能支持各种复杂的业务场景需求。无论是对于初学者还是高级用户来说,掌握Sqoop的使用...

    基于hadoop生态搭建的电商数据仓库,整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等.zip

    Hadoop生态内的Sqoop可以将数据高效地导入导出至关系型数据库,如MySQL、Oracle等。此外,Hadoop的MapReduce或Spark可以执行批处理任务,将结果数据导出到云存储或数据湖中,以供进一步分析或共享。 **4. 数据可视...

    Hadoop官方中文文档

    根据提供的文件信息,我们可以提炼出以下关于Hadoop官方中文文档的知识点。 首先,文档标题为“Hadoop官方中文文档”,这意味着文档是Apache Hadoop项目的官方指南,且已经被翻译成中文,以便中文读者更容易理解和...

    Hadoop Streaming 官方中文文档

    ### Hadoop Streaming中文官方文档解析 #### Hadoop Streaming概述 Hadoop Streaming是Hadoop生态系统中的一个组件,它允许用户使用自定义的编程语言(如Python、Perl或Ruby)编写MapReduce程序,而不仅仅是Java。...

    sqoop导入数据到hive中,数据不一致

    Sqoop是一个用于在关系数据库和Hadoop之间传输数据的工具,它可以高效地批量导入和导出数据。而Hive则是基于Hadoop的数据仓库系统,提供了SQL-like查询语言(HQL)来操作存储在HDFS上的大量数据。当使用Sqoop将数据...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip

    Sqoop 的主要功能是让大数据分析师和开发人员能够方便地导入和导出数据,它弥补了传统数据库与 Hadoop 生态系统之间的鸿沟。 Sqoop 的工作原理是通过 JDBC(Java Database Connectivity)连接到关系型数据库,将...

    Hadoop官方中文帮助文档1.1.0

    本文档为Apache官方Hadoop 1.1.0中文文档 文档目录: 1.概述 2.快速入门 3.集群搭建 4.HDFS构架设计 5.HDFS使用指南 6.HDFS权限指南 7.HDFS配额管理指南 8.命令手册 9.FS Shell使用指南 10.DistCp使用指南 ...

Global site tag (gtag.js) - Google Analytics