`
yugouai
  • 浏览: 497590 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

hive元数据中utf8的修改

 
阅读更多

     表或者字段有中文的时候需要修改hive的元数据库的设置。
     以mysql为例子,当mysql的字符集设置成utf8的时候使用hive会有问题,详细见hive的wiki。

所以当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1。
    为了保存那些utf8的中文,要将mysql中存储注释的那几个字段的字符集单独修改为utf8。

   修改字段注释字符集

alter table COLUMNS modify column COMMENT varchar(256) character set utf8;
 

    修改表注释字符集

alter table TABL_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
 

    最后别忘记修改hive的jdbc连接,将字符集修改为utf8,如

javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.0.128:3306/hive?characterEncoding=UTF-8
 
分享到:
评论

相关推荐

    hive数据存储模式

    由于Hive元数据需要频繁地更新和修改,因此不适合存储在HDFS中。Hive将元数据存储在一个独立的数据库中,如MySQL或Derby数据库。这种方式能够确保元数据的高效管理和维护。 要配置Hive元数据的存储方式,可以在`...

    cli正常显示中文的hive-0.10.0

    可能的修改点可能涉及Hive的解析器、元数据存储、命令行接口等组件,确保在整个数据处理流程中,中文字符都能被正确处理。 总的来说,这个定制的Hive 0.10.0版本解决了中文注释显示的问题,对于在中国或其他使用...

    Hive用户指南(Hive_user_guide)_中文版.pdf

    2、 Hive 将元数据存储在数据库中,如 mysql 、 derby 。 Hive 中的元数据包括表的名字, 表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 3、 解释器、编译器、优化器完成 HQL 查询语句...

    hive-exec-2.1.1.jar

    同时,Hive的性能可以通过优化元数据、分区策略、并行执行、压缩等方式进一步提升。 总的来说,理解Hive及其相关组件的工作原理,以及如何解决特定问题,对于大数据分析师和数据工程师来说至关重要。正确配置和使用...

    Hive2.3.4安装文档

    -- hive元数据地址,默认是/user/hive/warehouse --> <name>hive.metastore.warehouse.dir <value>/user/hive/warehouse <!-- hive查询时输出列名 --> <name>hive.cli.print.header <value>true <!-- ...

    hive学习笔记-比较全的知识

    2. **元数据存储**:Hive使用关系数据库如MySQL或Derby存储元数据,这些元数据包含表的信息、列信息、分区属性、表属性等关键信息。 3. **解释器、编译器、优化器、执行器**:负责HQL查询语句的处理,包括词法分析...

    支持中文的hive-0.80

    1. **字符编码**:可能调整了Hive内部的字符编码,比如从ASCII或UTF-8改为支持更多字符集的GB2312或UTF-16,确保中文字符能在元数据存储和读取过程中正确处理。 2. **SQL解析**:可能更新了Hive的SQL解析器,使其...

    centos7中hive的安装和使用

    MySQL 是 Hive 的 metastore,用于存储 Hive 的元数据。安装 MySQL 的步骤如下: a) 使用 yum 安装 MySQL:`yum install mysql` b) 安装 MySQL-devel:`yum install mysql-devel` c) 安装 MariaDB:`yum install ...

    12-安装部署Hive1

    5. **配置Hive元数据存储**:在Hive的配置目录`conf/`下,创建`hive-site.xml`文件,设置元数据存储的相关属性。关键配置包括: - `hive.metastore.local`: 设置为`true`表示使用本地的MySQL作为元数据存储。 - `...

    hadoop hive 安装指南

    由于 Hive 默认使用 Derby 数据库存储元数据,而 Derby 只支持单用户操作,因此在多用户环境中推荐使用 MySQL 数据库。 1. **创建 Hive 数据库** 在 MySQL 中创建名为 `hive` 的数据库: ```sql CREATE ...

    Hive配置和基本操作 (2).pdf

    - 在`hive-default.xml`中,可以定义Hive的运行时行为,例如设置临时目录、元数据存储位置等。 以下是一些重要的配置项: - `<name>hive.exec.local.scratchdir</name>`:本地临时目录,用于存放中间计算结果。 ...

    Hadoop环境搭建-如何进行Hive的安装

    2. **MySQL服务器已部署**:Hive需要一个外部数据库来存储元数据,默认情况下使用的是Derby,但生产环境中建议使用MySQL以获得更好的性能和稳定性。 #### 二、上传安装包 1. **将Hive安装包上传至服务器**:将Hive...

    DDLTask.rar

    5. **Hive Metastore配置**:如果中文乱码问题出现在元数据表的注释中,需要检查并修改Metastore服务的配置,确保其支持UTF-8编码。 6. **JVM设置**:确保Java虚拟机(JVM)的默认编码也是UTF-8,这可以通过在启动...

    课程综合实验1

    这通常涉及到下载Hive的安装包,配置Hive的配置文件(如`hive-site.xml`),指定MySQL作为元数据存储,并将Hive添加到环境变量中。 4. **使用Hive进行数据操作**:进入Hive命令行后,可以创建数据库和数据表,加载...

    yum安装CDH5.5 hive、impala的过程详解

    初始化Impala服务,同步Hive元数据到Impala: ``` # impala-shell -i localhost >invalidate metadata; ``` 四、启动与验证 1. **启动Hive服务**: ``` # service hive-server2 start ``` 2. **启动...

    CDH安装步骤

    在进行CDH(Cloudera Distribution Including Apache Hadoop)的安装之前,首先需要确保MySQL服务已经正确安装并配置完成,因为MySQL是作为Hadoop生态系统的后端数据库来存储元数据。 **1. 检查已安装的MySQL包** ...

    Linux mysql tar包部署

    在完成上述步骤后,您将拥有一个完全可配置的MySQL实例,可以用于各种场景,如作为Ambari元数据库或Hive元数据库等。此外,如果将来需要升级MySQL版本或迁移至其他服务器,这些手动配置的经验也将非常有价值。

Global site tag (gtag.js) - Google Analytics