`

解决sqoop将数据导入mysql乱码

 
阅读更多
mysql 字符集修改:
(5.5以前系统)#vim /etc/mysql/my.cnf 。
在【client】下面加入 default-character-set=utf8
Notice:注意 如果修改后不能启动报错试试把default-character-set=utf8改为character_set_server=utf8,仅仅加入到mysqld下面的.client就不需要加了

(5.5以后系统)如下修改:
#vim /etc/mysql/my.cnf 。
[client]
default-character-set=utf8
[mysqld]
default-storage-engine=INNODB
character-set-server=utf8
collation-server=utf8_general_ci
2. 命令 /etc/init.d/mysqld restart 重新启动MySQL.
//3.set names utf8;

创建数据库:
create database sqoop default character set 'utf8' COLLATE 'utf8_general_ci';
创建表:
CREATE TABLE test23(time varchar(30), userid varchar(255), query text, pagerank varchar(255), clickrank varchar(255), site text)ENGINE=InnoDB DEFAULT CHARSET=utf8;

sqoop导入mysql命令:

bin/sqoop export --connect "jdbc:mysql://localhost:3306/sqoop?useUnicode=true&characterEncoding=utf-8"  --username root --password git1024 --table test23 --export-dir /user/hive/warehouse/sogouqueryfish/day\=2014-01-01/test3.txt --input-fields-terminated-by '\t' --input-null-string '' --input-null-non-string ''

test success! happy!
----------------


分享到:
评论

相关推荐

    sqoop从mysql中导入数据到parquet格式的hive中

    sqoop导入数据到hive

    sqoop导入数据到hive中,数据不一致

    当使用Sqoop将数据导入Hive时,有时可能会遇到数据不一致的问题,这可能是由于多种原因引起的。本文将深入探讨这个问题,并提供可能的解决方案。 Sqoop是一个用于在关系数据库和Hadoop之间传输数据的工具,它可以...

    sqoop的数据导入

    8. 输出格式:默认情况下,Sqoop 将数据导出为文本文件,但也可以选择其他格式,如 SequenceFile 或 Avro。使用 `--as-avrodatafile` 或 `--as-sequencefile` 参数。 9. 错误处理与重试机制: Sqoop 提供了错误记录...

    实战Sqoop数据导入及大数据用户行为案例分析

    05_Sqoop将MySQL数据导入到HDFS(一) 06_Sqoop将MySQL数据导入到HDFS(二) 07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL数据导入Hive表中 09_Sqoop的导出及脚本中使用的方式 10_案例分析-动态分区的实现 11_...

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    在本主题中,我们将深入探讨 Sqoop 的导入功能,特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS,并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**: Sqoop 导入数据的基本语法如下:...

    星环大数据平台_Sqoop数据导入.pdf

    总结来说,Sqoop在星环大数据平台中扮演着数据导入导出的关键角色,能够高效地将数据从关系数据库迁移到Hadoop环境,或者反向操作,是构建大数据平台不可或缺的分布式ETL工具之一。通过本次培训,学员们将能够学会...

    使用sqoop抽取mysql数据

    Sqoop 是一个用于在 Hadoop 和关系型数据库之间进行数据导入导出的工具,它使得在大数据处理场景下,能够方便地将结构化的数据从 MySQL 这样的 RDBMS(关系型数据库管理系统)转移到 Hadoop 的 HDFS(Hadoop 分布式...

    解决sqoop2导入hdfs单引号问题

    使用sqoop2从mysql导入hadoop时,导入的数据带单引号。是由于sqoop2的一个bug导致,该包上传到sqoop_home/server/lib替换原来的jar包后,重启sqoop server,即可解决。

    sqoop把mysql数据导入hbase2.1.6

    首先,Sqoop不仅支持将数据从关系型数据库如MySQL导入到HDFS或Hive,还能直接导入到HBase。关键在于正确使用参数: 1. `--hbase-table`:此参数用于指定导入的数据应存储在哪个HBase表中。不指定的话,数据将被导入...

    sqoop导入数据到hdfs路径

    ### Sqoop导入数据到HDFS路径详解 #### 一、Sqoop简介 ...通过以上详细解析和说明,我们不仅了解了如何使用Sqoop将数据从MySQL导入到HDFS中,还学习了一些高级用法和注意事项,这对于实际操作中解决问题非常有帮助。

    23-Sqoop数据导入导出1

    3. **MapReduce作业**: Sqoop启动MapReduce作业,使用DataDrivenDBInputFormat将数据划分给多个Map任务,通常选择主键作为划分列以提高性能。 4. **数据处理**: Map任务执行SQL查询,将ResultSet中的数据反序列...

    sqoop 从 hive 导到mysql遇到的问题.docx

    在将数据从 Hive 导入到 MySQL 时,Sqoop 可能会遇到一些问题。例如,在描述文件中,Sqoop 的版本为 1.4.4,Hadoop 的版本为 1.0.0,Hive 的版本为 0.11.0。 Sqoop 在连接 MySQL 时,需要指定 JDBC 连接器的路径,...

    大数据实践-sqoop数据导入导出.doc

    3. Sqoop会生成MapReduce作业,执行数据导入过程,将数据从MySQL导入到HDFS。 ### 三、数据导出:HDFS->MySQL 1. 数据导出是逆向操作,使用`sqoop export`命令,指定HDFS中数据的路径,数据库连接参数,以及要写入...

    数据同步Sqoop用法之mysql与Hive导入导出.docx

    Sqoop 提供了灵活的数据导入方式,可以将 MySQL 数据库中的数据导入到 Hive 表中。例如,以下命令可以将 MySQL 数据库中的 people_access_log 表导入到 Hive 表 web.people_access_log 中: sqoop import \ --...

    解决sqoop2 数据分隔符为 ',' 以及 string类型数据存在单引号('数据')问题(通过改变源码编译解决 ---可以从源头彻底解决)

    说明: 版本为:sqoop2-1.99.5-cdh5.10.2 解决数据分隔符 以及 string类型数据存在单引号问题(解决方式 通过更改源码SqoopIDFUtils 里面的分隔符来解决此问题 ) ​ 只需要将以下包进行替换 connector-sdk-1.99.5-...

    sqoop导出数据到mysql故障处理---完整检查日志方法总结.txt

    sqoop问题处理通用办法,首先详细描绘了一个sqoop实际问题得处理过程,然后延申到完整得hadoop日志得处理过程。非常具体实用。

    sqoop需要导入的包

    当你使用 Sqoop 导入或导出 MySQL 数据时,这个驱动会帮助 Sqoop 建立到 MySQL 数据库的连接,执行 SQL 查询,并传输数据。确保你已经将此 JAR 文件放在 Hadoop 的类路径 (classpath) 中,这样 Sqoop 在运行时能够...

    hue平台oozie工作流操作sqoop,把mysql.pdf

    它通过MapReduce程序将数据从关系数据库导入到Hadoop的HDFS中,同时也可以将数据从HDFS导出到关系数据库中。 在本文中,Sqoop被用于将MySQL数据库中的数据导入到HDFS上。具体的命令参数如下所示: -Dorg.apache....

    mysql导入hbase所需要的jar

    本篇将详细讲解在MySQL导入HBase过程中遇到的问题及解决方案,特别是关于"mysql导入hbase所需要的jar"这个话题。 首先,标题中提到的"mysql导入hbase所需要的jar",主要涉及到的是Sqoop工具。Sqoop是一个用于在...

Global site tag (gtag.js) - Google Analytics