欢迎加入Hadoop超级群: 180941958
Sqoop有较多的命令和参数,我这里从实践和源码的角度将他们一一整理出来,这里Sqoop版本是1.3
Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令).这里先列出这13种命令.
序号 | 命令/command | 类 | 说明 |
1 | impor | ImportTool | 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中 |
2 | export | ExportTool | 将HDFS中的数据导入到关系型数据库中 |
3 | codegen | CodeGenTool | 获取数据库中某张表数据生成Java并打成jar包 |
4 | create-hive-table | CreateHiveTableTool |
创建Hive表 |
5 | eval | EvalSqlTool | 查看SQL执行结果 |
6 | import-all-tables | ImportAllTablesTool | 导入某个数据库下所有表到HDFS中 |
7 | job | JobTool | |
8 | list-databases | ListDatabasesTool | 列出所有数据库名 |
9 | list-tables | ListTablesTool | 列出某个数据库下所有表 |
10 | merge | MergeTool | |
11 | metastore | MetastoreTool | |
12 | help | HelpTool | 查看帮助 |
13 | version | VersionTool | 查看版本 |
接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数.Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面一一说明:
1.Common arguments
通用参数,主要是针对关系型数据库链接的一些参数
序号 | 参数 | 说明 | 样例 |
1 | connect | 连接关系型数据库的URL | jdbc:mysql://localhost/sqoop_datas |
2 | connection-manager | 连接管理类,一般不用 | |
3 | driver | 连接驱动 | |
4 | hadoop-home | hadoop目录 | /home/guoyun/hadoop |
5 | help | 查看帮助信息 | |
6 | password | 连接关系型数据库的密码 | |
7 | username | 链接关系型数据库的用户名 | |
8 | verbose | 查看更多的信息,其实是将日志级别调低 | 该参数后面不接值 |
更多技术文章、感悟、分享、勾搭,请用微信扫描:
相关推荐
Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间进行数据迁移的工具。它允许用户从 RDBMS 导入数据到 Hadoop 分布式...通过熟练掌握 Sqoop 的命令参数,用户可以更加灵活地管理和操作大数据环境中的数据流。
sqoop2(1.99.7版本)源代码,可以直接按需求修改一些内容,例如,默认分隔符等
在实际开发和优化过程中,了解 Sqoop 的参数设置至关重要。例如,可以通过设置 `--split-by` 参数来指定分区字段,提高数据导入的效率;使用 `--direct` 或 `--fetch-size` 参数可以优化查询性能;利用 `--m` 或 `--...
Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间进行...在实际操作中,应根据具体需求灵活运用这些命令和选项,优化数据迁移过程。
sqoop的常用指令操作
Sqoop 安装与使用 ...Sqoop 工具是一个非常有用的数据迁移工具,可以帮助用户将传统型数据库中的数据迁移到 Hadoop 中,并进行数据分析和处理。但是,Sqoop 工具的安装和配置需要一定的技术基础和经验。
#### 三、SQOOP Export 参数 ##### 3.1 基本选项 - **--validate**:启用数据副本验证功能,确保数据一致性;仅支持单表拷贝,可以指定验证使用的实现类。 - **--validation-threshold**:指定验证门限所使用的类。 ...
通过正确地配置和使用 Sqoop,可以高效地在 Hadoop 和 RDBMS 之间移动大量数据,满足数据分析和业务需求。在这个“sqoop-1.4.7.tar.gz.zip”文件中,你将获得 Sqoop 的全部组件,可以进一步学习、安装和使用这个工具...
本资源是把sqoop的源码按照官方推荐的issue解决方案重新编译后的版本。sqoop-1.4.7.bin__hadoop-2.6.0-2020.0508.tar.gz是已完成编译的tar包。sqoop编译.zip是编译所需要改的配置以及步骤。 各位请二选其一吧。这个...
常用的sqoop操作方法,主要是import与export的常用参数
总的来说,Sqoop-1.4.5为Hadoop 2.x环境提供了强大而灵活的数据迁移能力,使得数据科学家和数据工程师能够无缝地在传统数据库和Hadoop之间迁移数据,实现大数据分析和处理。正确配置和使用Sqoop,能够有效地提升数据...
虚拟机linux使用的sqoop-1.4.7版本
Sqoop提供了丰富的命令帮助,你可以使用 `sqoop help` 查看所有可用的命令和选项。 **三、Sqoop数据的导入导出** 1. **数据导出**:首先确保MySQL服务已经启动,然后登录数据库创建新的数据库和表并插入数据。...
4. 配置 configure-sqoop 文件:在 configure-sqoop 文件中配置 Sqoop 的各种参数,以便 Sqoop 可以正确地工作。 Sqoop 的应用场景非常广泛,例如: * 数据迁移:Sqoop 可以将数据从一个数据源迁移到另一个数据源...
Sqoop是Apache Hadoop生态中的一个工具,用于在关系型数据库和Hadoop之间高效地导入导出数据。...在开发和管理大数据项目时,理解和处理这类问题的能力至关重要,因为它直接影响到数据的流动和分析效率。
本文档详细介绍了Sqoop的多种使用方式和相关参数的配置说明,基于Cloudera发布的官方文档,并结合作者的实际验证。 1. Sqoop概览 Sqoop可以帮助用户高效地在结构化存储系统(如关系数据库)和Hadoop之间传输数据。...
在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装和使用Sqoop,可以方便地将结构化数据从传统的数据库系统迁移到Hadoop的分布式文件系统HDFS,或者将分析结果写回数据库。下面我们将详细讲解sqoop...