`
guoyunsky
  • 浏览: 854439 次
  • 性别: Icon_minigender_1
  • 来自: 上海
博客专栏
3d3a22a0-f00f-3227-8d03-d2bbe672af75
Heritrix源码分析
浏览量:206255
Group-logo
SQL的MapReduce...
浏览量:0
社区版块
存档分类
最新评论

Sqoop源码分析(三) Sqoop各种命令和参数

阅读更多

         欢迎加入Hadoop超级群: 180941958

         Sqoop有较多的命令和参数,我这里从实践和源码的角度将他们一一整理出来,这里Sqoop版本是1.3

        Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令).这里先列出这13种命令.

 

序号 命令/command 说明
1 impor ImportTool 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中
2 export ExportTool 将HDFS中的数据导入到关系型数据库中
3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打成jar包
4 create-hive-table CreateHiveTableTool

创建Hive表

5 eval EvalSqlTool 查看SQL执行结果
6 import-all-tables ImportAllTablesTool 导入某个数据库下所有表到HDFS中
7 job JobTool  
8 list-databases ListDatabasesTool 列出所有数据库名
9 list-tables ListTablesTool 列出某个数据库下所有表
10 merge MergeTool  
11 metastore MetastoreTool  
12 help HelpTool 查看帮助
13 version VersionTool 查看版本

 

        接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数.Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面一一说明:

       1.Common arguments

           通用参数,主要是针对关系型数据库链接的一些参数

 

序号 参数 说明 样例
1 connect 连接关系型数据库的URL jdbc:mysql://localhost/sqoop_datas
2 connection-manager 连接管理类,一般不用  
3 driver 连接驱动  
4 hadoop-home  hadoop目录 /home/guoyun/hadoop
5 help 查看帮助信息  
6 password 连接关系型数据库的密码  
7 username 链接关系型数据库的用户名  
8 verbose 查看更多的信息,其实是将日志级别调低 该参数后面不接值

 

 更多技术文章、感悟、分享、勾搭,请用微信扫描:

2
2
分享到:
评论
2 楼 zzw0309452 2012-07-12  
你知道  --parameters 这个参数什么用处吗?
1 楼 hibernate159 2012-03-06  
请问,sqoop能否导入到hive二级分区中

相关推荐

    sqoop常用命令参数-中文1

    Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间进行数据迁移的工具。它允许用户从 RDBMS 导入数据到 Hadoop 分布式...通过熟练掌握 Sqoop 的命令参数,用户可以更加灵活地管理和操作大数据环境中的数据流。

    sqoop1.99.7源码

    sqoop2(1.99.7版本)源代码,可以直接按需求修改一些内容,例如,默认分隔符等

    sqoop详细开发手册(开发,优化,参数解释等)

    在实际开发和优化过程中,了解 Sqoop 的参数设置至关重要。例如,可以通过设置 `--split-by` 参数来指定分区字段,提高数据导入的效率;使用 `--direct` 或 `--fetch-size` 参数可以优化查询性能;利用 `--m` 或 `--...

    sqoop常用命令文件

    Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间进行...在实际操作中,应根据具体需求灵活运用这些命令和选项,优化数据迁移过程。

    sqoop常用命令.xlsx

    sqoop的常用指令操作

    Sqoop安装与使用

    Sqoop 安装与使用 ...Sqoop 工具是一个非常有用的数据迁移工具,可以帮助用户将传统型数据库中的数据迁移到 Hadoop 中,并进行数据分析和处理。但是,Sqoop 工具的安装和配置需要一定的技术基础和经验。

    SQOOP导入和导出参数.pdf

    #### 三、SQOOP Export 参数 ##### 3.1 基本选项 - **--validate**:启用数据副本验证功能,确保数据一致性;仅支持单表拷贝,可以指定验证使用的实现类。 - **--validation-threshold**:指定验证门限所使用的类。 ...

    sqoop-1.4.7.tar.gz.zip

    通过正确地配置和使用 Sqoop,可以高效地在 Hadoop 和 RDBMS 之间移动大量数据,满足数据分析和业务需求。在这个“sqoop-1.4.7.tar.gz.zip”文件中,你将获得 Sqoop 的全部组件,可以进一步学习、安装和使用这个工具...

    sqoop重编译版本,解决了联合主键的同步问题

    本资源是把sqoop的源码按照官方推荐的issue解决方案重新编译后的版本。sqoop-1.4.7.bin__hadoop-2.6.0-2020.0508.tar.gz是已完成编译的tar包。sqoop编译.zip是编译所需要改的配置以及步骤。 各位请二选其一吧。这个...

    Sqoop 常用方法及参数总结

    常用的sqoop操作方法,主要是import与export的常用参数

    sqoop-1.4.5

    总的来说,Sqoop-1.4.5为Hadoop 2.x环境提供了强大而灵活的数据迁移能力,使得数据科学家和数据工程师能够无缝地在传统数据库和Hadoop之间迁移数据,实现大数据分析和处理。正确配置和使用Sqoop,能够有效地提升数据...

    大数据技术基础实验报告-sqoop的安装配置与应用.doc

    Sqoop提供了丰富的命令帮助,你可以使用 `sqoop help` 查看所有可用的命令和选项。 **三、Sqoop数据的导入导出** 1. **数据导出**:首先确保MySQL服务已经启动,然后登录数据库创建新的数据库和表并插入数据。...

    Hadoop-Sqoop配置

    4. 配置 configure-sqoop 文件:在 configure-sqoop 文件中配置 Sqoop 的各种参数,以便 Sqoop 可以正确地工作。 Sqoop 的应用场景非常广泛,例如: * 数据迁移:Sqoop 可以将数据从一个数据源迁移到另一个数据源...

    sqoop-1.4.7.zip

    Sqoop是Apache Hadoop生态中的一个工具,用于在关系型数据库和Hadoop之间高效地导入导出数据。...在开发和管理大数据项目时,理解和处理这类问题的能力至关重要,因为它直接影响到数据的流动和分析效率。

    Sqoop手册(中文版)

    本文档详细介绍了Sqoop的多种使用方式和相关参数的配置说明,基于Cloudera发布的官方文档,并结合作者的实际验证。 1. Sqoop概览 Sqoop可以帮助用户高效地在结构化存储系统(如关系数据库)和Hadoop之间传输数据。...

    sqoop-cdh安装包

    在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装和使用Sqoop,可以方便地将结构化数据从传统的数据库系统迁移到Hadoop的分布式文件系统HDFS,或者将分析结果写回数据库。下面我们将详细讲解sqoop...

    Sqoop集群搭建.

    在集群环境中,需要至少三个节点,分别作为 Namenode、Datanode 和 Sqoop 服务器。Sqoop 服务器需要安装 Sqoop 和 Hadoop,另外还需要安装 Mysql JDBC 驱动包。 Sqoop 集群搭建的主要步骤包括: 1. 安装 Hadoop,...

Global site tag (gtag.js) - Google Analytics