`

sqoop 的使用

 
阅读更多

1  导入导出数据库
   1)列出mysql数据库中的所有数据库命令
  #  sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456
  
   2)连接mysql并列出数据库中的表命令
# sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
   命令中的test为mysql数据库中的test数据库名称  username password分别为mysql数据库的用户密码
  
  3)将关系型数据的表结构复制到hive中
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username为mysql中的数据库test中的表   --hive-table test 为hive中新建的表名称
  
   4)从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-import

   5)将hive中的表数据导入到mysql中

./sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=2011-08-03

 

6)上传数据到hadoop中

sqoop import --connect jdbc:mysql://10.2.136.24:3306/test --username root  --table aa -m 1

 

分享到:
评论

相关推荐

    Sqoop使用手册(高清书签)

    Sqoop使用MapReduce进行数据传输,其数据传输工作是在后台由一个或多个MapReduce作业完成的。这个特性使得Sqoop能够利用Hadoop的并行处理能力以及容错机制,进行大规模数据的导入导出操作。 本文档适用于Sqoop ...

    sqoop使用参考.txt

    sqoop使用参考是自己在学习和开发中用到的进行总结和汇总,方便大家做为参考.同时文内容不断的在更新中

    sqoop使用.txt

    sqoop数据导出工具

    sqoop使用的demo

    大数据sqoop从RDBMS中向Hadoop的hdfs中进行数据的转移工具。

    sqoop安装与使用

    #### 三、Sqoop使用方法 ##### 常用命令: - `sqoop list-databases`:列出数据库中的所有数据库。 - `sqoop list-tables`:列出指定数据库中的所有表。 - `sqoop import`:将数据从关系型数据库导入到HDFS。 - `...

    sqoop-1.4.7(可直接下载学习使用)附有安装配置教程!

    安装配置 sqoop 链接:...适用人群:Sqoop 1.4.7 适用于以下人群:数据工程师:数据工程师可以使用 Sqoop 进行大规模数据的迁移和转换,以支持数据分析、数

    sqoop 使用手册

    通过这份Sqoop手册,你可以深入理解 Sqoop 的使用方法,掌握如何配置和调优 Sqoop 任务,以及如何解决常见问题。对于需要在 Hadoop 和 RDBMS 之间进行数据交换的场景,Sqoop 是一个非常实用的工具。

    sqoop1使用必备

    ### Sqoop 使用必备知识点 #### 一、概述 Sqoop 是一款开源的工具,主要用于在 Hadoop 和关系型数据库服务器之间传输数据。它利用 MapReduce 作业并行处理数据的特性,大大提高了数据导入导出的效率。对于从事 ETL...

    sqoop连接Postgres SQL 的驱动包

    利用sqoop导出PostgresSQL的数据时所需的驱动包,只需要将该包放到hive或sqoop的lib目录下即可。

    Hadoop-Sqoop配置

    * 依赖于 JDBC 驱动包:Sqoop 需要使用 JDBC 驱动包来连接数据源,如果 JDBC 驱动包不存在或不可用,Sqoop 将无法工作。 * 依赖于 Hadoop 环境:Sqoop 需要 Hadoop 环境来工作,如果 Hadoop 环境不可用,Sqoop 将...

    sqoop2-1.99.7 documentation 英文文档

    使用 REST API 开发 Sqoop 应用**:解释如何使用 REST API 来构建与 Sqoop 集成的应用程序。 **5. 使用 Sqoop Java Client API 开发 Sqoop 应用**:介绍如何利用 Sqoop 的 Java 客户端 API 来构建应用程序。 #### ...

    Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}.docx

    5. **测试连接**:使用 `bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password root` 命令,检查 Sqoop 是否能成功连接到 MySQL 数据库,并列出所有数据库。 ### Sqoop ...

    Sqoop-linux.zip

    Sqoop 是一个在 Linux 环境下广泛使用的工具,用于在关系数据库和 Apache Hadoop 之间高效地导入和导出数据。这个压缩包“Sqoop-linux.zip”包含两个版本的 Sqoop 安装包:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar....

    sqoop-javabean-sqoop脚本分隔符失效问题

    默认情况下, Sqoop使用制表符(\t)作为字段分隔符,但你可以根据需要自定义。问题可能出在以下几个方面: 1. **命令行参数设置**:确保你在运行Sqoop命令时正确指定了`--fields-terminated-by`选项。例如,如果...

    Sqoop安装与使用

    Sqoop 安装与使用 Sqoop 是一款方便的在传统型数据库与 Hadoop 之间进行数据迁移的工具,充分利用 MapReduce 并行特点以批处理的方式加快数据传输。Sqoop 工具是 Hadoop 下连接关系型数据库和 Hadoop 的桥梁,支持...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip

    3. 使用 `sqoop list-databases` 和 `sqoop list-tables` 查看可导入的数据库和表。 4. 使用 `sqoop import` 命令将数据导入 HDFS。 5. 使用 `sqoop export` 命令将数据导出到数据库。 Sqoop 的出现使得 Hadoop ...

    sqoop-1.4.7.tar.gz.zip

    用户可以使用 SQL 查询语句从数据库中选择要导入的数据,然后 Sqoop 将这些数据分成多个小块,每个小块由一个 MapReduce 任务处理。导出时,Sqoop 可以将 HDFS 中的数据写入到数据库,同样利用 MapReduce 的并行处理...

    Apache Sqoop Cookbook

    总的来说,这本书是Apache Sqoop使用者的宝贵参考资料,无论是初学者还是有经验的开发者,都能从中获得实用的技巧和深入的理解,从而更有效地管理和迁移大数据。通过实践书中的例子,读者可以提升在Hadoop生态系统中...

Global site tag (gtag.js) - Google Analytics