`
tongjun_zhou
  • 浏览: 28088 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

sqoop 数据导出,hive -->mysql

 
阅读更多
命令
导出:
sqoop  export  --connect jdbc:mysql://localhost:3306/test --username root --password root --table test --export-dir   '/user/hive/warehouse/test'     --fields-terminated-by '\001' --input-null-string '\\N'  --input-null-non-string '\\N' --input-lines-terminated-by '\n' -m 1

导入
mysql --》hdfs;


sqoop import --connect jdbc:mysql://localhost:3306/test--username root --password root--table test--as-textfile --delete-target-dir  --fields-terminated-by '\001' --target-dir /user/hive/warehouse/test



hdfs -->hive 数据加载:

    LOAD DATA LOCAL INPATH 'dim_csl_rule_config.txt' OVERWRITE into table dim.dim_csl_rule_config;

其中local 是指本地磁盘。

导hdfs 只需
   LOAD DATA  INPATH 'dim_csl_rule_config.txt' OVERWRITE into table dim.dim_csl_rule_config;


load  data inpath '/user/hdfs/user/hive/warehouse/myTable' overwrite into table myTable
分享到:
评论

相关推荐

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统数据库迁移到 Hadoop 生态系统中的组件,如 Hive。 在本主题中,我们将深入探讨 Sqoop 的导入功能,特别是如何将数据从 MySQL ...

    sqoop-1.4.6-cdh5.14.2.tar系列安装包

    Sqoop 是 Apache Hadoop 生态系统中的一个工具,主要用于在关系型数据库(如 MySQL、Oracle 等)和 Hadoop 分布式文件系统(HDFS)之间高效地传输数据。这个压缩包“sqoop-1.4.6-cdh5.14.2.tar”是 Sqoop 的一个特定...

    sqoop常用命令参数-中文1

    - `--mysql-delimiters`:使用 MySQL 的默认分隔符设置,字段间用逗号,行间用换行符。 - `--optionally-enclosed-by`:对于包含双引号或单引号的字段,前后添加指定字符。 3. **export 命令参数**: - `--input...

    Sqoop数据采集工具简介、安装、使用学习笔记(配合Hive和Hbase)

    - **Hive/HBase -> RDBMS**:两者均不支持直接转换,但可以通过以下步骤实现:先将数据从 Hive 或 HBase 导出到 HDFS,再从 HDFS 导出到 RDBMS。 #### 三、Sqoop1 的安装 - **版本选择**:选择 Sqoop 1.4.6 版本。...

    sqoop-1.4.4-cdh5.0.6.tar

    在大数据处理场景中,Sqoop 提供了一种高效、方便的方式将结构化数据从传统数据库如 MySQL、Oracle 等迁移到 Hadoop 的 HDFS 或者 Hive、HBase 等数据存储系统,同时也支持将 Hadoop 中的数据反向导入到关系数据库中...

    数据同步Sqoop用法之mysql与Hive导入导出.docx

    Sqoop 用法之 MySQL 与 Hive 导入导出 Sqoop 是一个专门用于将 Hadoop 和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL、Oracle、Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也...

    hadoop平台下的数据导入导出工具sqoop

    - **导出至Hive**:使用`--hive-import`选项,可以直接将数据导入到Hive表中。 #### 七、进阶功能 - **增量导出**:通过`--check-column <column-name> --incremental lastmodified`参数实现。 - **更新模式**:...

    mysql-connector-5.1.39,配合sqoop1.4.7和hive2.1.1使用

    将`mysql-connector-5.1.39`与`sqoop1.4.7`和`hive2.1.1`配合使用,主要是为了实现以下功能: 1. **数据导入**:使用Sqoop,你可以通过指定MySQL数据库的连接参数(如主机名、端口、用户名、密码和数据库名),将...

    sqoop-1.4.5-cdh5.3.6.tar.gz

    在大数据处理场景中,Sqoop 提供了高效、方便的数据迁移能力,允许用户将结构化数据从传统的 RDBMS(如 MySQL、Oracle 等)导入到 Hadoop 的 HDFS 中,或者从 HDFS 导回到 RDBMS。在这个场景中,我们讨论的是 Sqoop ...

    sqoop-1.4.6-cdh5.12.0.tar.gz

    1. 数据提取: Sqoop 提供了命令行接口,允许用户从传统的关系型数据库管理系统(如 MySQL、Oracle、PostgreSQL 等)中抽取数据。它支持多种 JDBC 驱动,因此可以轻松连接到各种 RDBMS。 2. 数据转换:在导入数据到...

    sqoop-1.4.6-cdh5.5.0.tar.gz

    同时, Sqoop 也可以与 Hive、Pig 等其他 Hadoop 组件结合使用,实现更复杂的数据处理流程。 总的来说,Sqoop 1.4.6 在 CDH 5.5.0 中扮演着关键的角色,为大数据环境下的数据迁移提供了高效、灵活的解决方案。通过...

    23-Sqoop数据导入导出1

    ### Sqoop导出原理 1. **选择导出方法**: Sqoop根据目标数据库确定导出方式,通常是JDBC。 2. **生成Java类**: 根据目标表结构,Sqoop生成用于解析记录和插入数据库的Java类。 3. **MapReduce作业**: 启动...

    sqoop-1.4.6-hadoop-2.6最小资源包

    Sqoop 是一个在 Hadoop 生态系统中用于数据导入导出的工具,它允许用户将关系型数据库(如 MySQL、Oracle 等)中的数据高效地导入到 Hadoop 的 HDFS 中,或者从 HDFS 导回到关系型数据库。这个"sqoop-1.4.6-hadoop-...

    sqoop-1.4.5-cdh5.4.2.tar.gz

    Sqoop是Apache Hadoop生态中的一个工具,专用于在关系型数据库(如MySQL、Oracle等)与Hadoop之间高效地导入导出数据。在标题"sqoop-1.4.5-cdh5.4.2.tar.gz"中,我们可以看出这是Sqoop的一个特定版本——1.4.5,针对...

    3、Sqoop导出(HDFS到RMDB-mysql)

    这里我们以MySQL为例,展示如何使用Sqoop导出HDFS数据到MySQL。 1. **默认模式导出** 默认模式下, Sqoop会将HDFS文件的数据转换为`INSERT`语句,插入到已存在的MySQL表中。假设我们有一个HDFS路径`/user/hive/...

    Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}.docx

    例如,对于 MySQL,可以执行 `cp mysql-connector-java-5.1.27-bin.jar /soft/sqoop/lib/`。 4. **验证安装**:运行 `bin/sqoop help` 命令,如果显示 Sqoop 的帮助信息,说明安装成功。 5. **测试连接**:使用 `bin...

    sqoop1-1.4.6 documentation 英文文档

    `sqoop export` 命令用于将 HDFS 或 Hive 表中的数据导出至关系型数据库。 ##### 10.2 语法 - **10.2.1 连接到数据库服务器**:使用 `--connect` 参数指定数据库 URL。 - **10.2.2 选择要导出的数据**:通过 `--...

    Sqoop中文手册.docx

    sqoop create-hive-table --connect jdbc:mysql://localhost:3306/hive --username root --password 123456 --table TBLS --hive-table h_tbls2 ``` - `--hive-table`: 指定生成的Hive表名称。 #### 四、Eval **...

Global site tag (gtag.js) - Google Analytics