1. list the database
sqoop list-databases --connect jdbc:mysql://192.168.1.9:3306/ -username root -password root;
2. list tables in one database
sqoop list-tables --connect jdbc:mysql://192.168.1.9:3306/test -username root -password root;
3. import only table structure from mysql to hive
sqoop create-hive-table --connect jdbc:mysql://192.168.1.9:3306/test --table userinfo -username root -password root ot -password root --hive-table hive_userinfo --fields-terminated-by "," --lines-terminated-by "\n";
we'd better identify the path of the table data:
create table hive_userinfo(id int, name string, age int, address string) row format delimited fields terminated by ',' location '/user/hivetest/userinfo';
4. import data(many records) from mysql to hive
sqoop import --connect jdbc:mysql://192.168.1.9:3306/test -username root -password root --table userinfo --hive-import --hive-table hive_userinfo -m 2 --fields-terminated-by ",";
-m 2 means use two maps to join the job
5. export data from hdfs to mysql
sqoop export --connect jdbc:mysql://192.168.1.9:3306/test -username root -password root --table userinfo1 --export-dir /user/hivetest/userinfo/part-m-00000 --input-fields-terminated-by ',';
http://www.jb51.net/LINUXjishu/43356.html
相关推荐
usage: sqoop COMMAND [ARGS] Available commands: codegen Generate code to interact with database records create-hive-table Import a table definition into Hive eval Evaluate a SQL statement and ...
This handy cookbook provides dozens of ready-to-use recipes for using Apache Sqoop, the command-line interface application that optimizes data transfers between relational databases and Hadoop. Sqoop...
基本命令格式为 `sqoop [command] [options]`。 #### 6. Sqoop 工具 ##### 6.1 使用命令别名 为了简化命令行输入,Sqoop 提供了一些命令别名,如 `import`、`export` 等。 ##### 6.2 控制 Hadoop 安装 Sqoop ...
【标题】"load_data_incr_sqoop (2).zip" 提供的是一个使用Sqoop进行增量数据加载的示例。Sqoop是Apache Hadoop生态中的一个工具,专门用于在关系数据库与Hadoop之间高效地传输数据。这个压缩包可能包含了执行增量...
Sqoop is a command-line interface application for transferring data between relational databases and Hadoop.
- 创建job:`sqoop job --create <job_name> -- <command> [options]` - 查看job列表:`sqoop job --list` - 查看job详情:`sqoop job --show <job_name>` - 执行job:`sqoop job --exec <job_name>` - 删除job:`...
java连接sqoop源码 PostgreSQL 到 Redshift-Data-Loader Ground to cloud data integration tool Used for ad-hoc query data results load from PostgreSQL to Amazon-Redshift. Works from Windows CLI (command ...
java连接sqoop源码 Oracle 到 Redshift-Data-Loader Ground to cloud data integration tool. Used for ad-hoc query results load from Oracle to Amazon-Redshift. Works from Windows CLI (command line). 特征:...
Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置...
Schedulis支持常规的Command Shell和Linkis(HadoopMR,Hive,Spark,Sqoop,Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的解决方案和工作流执行策略;提供多种类型的参数设置...
Schedulis支持常规的Command Shell和Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,...
Administering HDInsight from the Hadoop command prompt or Microsoft PowerShell Using the Microsoft Azure HDInsight Emulator for learning or development Understanding HDFS, HDFS vs. Azure Blob Storage,...
它已被集成到DataSphere Studio数据应用开发门户,支持Command Shell以及Linkis(包括Hadoop MR、Hive、Spark、Sqoop、Python)等多种大数据任务。Schedulis还具备数据检查、任务间依赖以及完善的告警和执行策略,...
HiveQL与SQL的对比、数据类型、DDL(Data Definition Language)、DML(Data Manipulation Language)以及CLI(Command Line Interface)客户端操作都会被详细讲解。Hive还支持UDF(User-Defined Functions)和UDAF...
The Command-Line Interface 51 Basic Filesystem Operations 52 Hadoop Filesystems 54 Interfaces 55 The Java Interface 57 Reading Data from a Hadoop URL 57 Reading Data Using the FileSystem API 59 ...
- **CLI (Command Line Interface)**: 命令行界面。 - **WebGUI**: Web图形用户界面。 - **JDBC/ODBC**: 标准数据库连接协议。 - **数据采集** - **数据类型** - **结构化数据**: 传统关系型数据库中的数据。 ...