`
奔跑的羚羊
  • 浏览: 576278 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

保存hive的metastore

    博客分类:
  • hive
 
阅读更多
首先安装mysql,见:
http://running.iteye.com/blog/910277

修改字符集为latin1
13.修改my.cnf
[mysqld]
port            = 3306  
socket          = /tmp/mysql.sock  
datadir         = /opt/workspace/mysql

user=mysql
old_passwords=1
default-character-set=latin1
skip-character-set-client-handshake
wait_timeout=864000
interactive-timeout=864000
max_connections=2000

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[client]
socket=/tmp/mysql.sock 
#default-character-set=utf8


14.登录客户端查看
mysql> SHOW VARIABLES LIKE '%character%';
+--------------------------+----------------------------------------+
| Variable_name            | Value                                  |
+--------------------------+----------------------------------------+
| character_set_client     | latin1                                 |
| character_set_connection | latin1                                 |
| character_set_database   | latin1                                 |
| character_set_filesystem | binary                                 |
| character_set_results    | latin1                                 |
| character_set_server     | latin1                                 |
| character_set_system     | utf8                                   |
| character_sets_dir       | /usr/local/mysql/share/mysql/charsets/ |
+--------------------------+----------------------------------------+
8 rows in set (0.00 sec)
除了system为utf8,其他最好为latin1,否则可能出现异常com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes )


修改数据库的binlog
set global binlog_format='MIXED';


READ-COMMITTED需要把bin-log以mixed方式来记录
否则进入hive,会如下错误
FAILED: Error in metadata: javax.jdo.JDOException: Couldnt obtain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'
分享到:
评论

相关推荐

    Ambari搭建Hadoop

    Ambari 搭建 Hadoop 集群环境 Ambari 是一个商业化的平台,用于搭建 Hadoop 集群环境。该平台提供了一个端到端的解决方案,包括安装、操作、修改配置和监控集群中的所有节点。使用 Ambari 的 Web UI 和 REST API,...

    DataGrip连接Hive所需jar包

    6. **创建数据源**:配置完成后,你可以创建一个新的数据源,选择刚刚创建的Hive驱动,输入连接信息,然后保存。 7. **使用Hive in DataGrip**:现在你可以在DataGrip中编写和执行HQL,浏览数据表,进行数据查询和...

    hive3.1.2+mysql驱动.zip

    本地元数据存储将元数据保存在运行Hive Metastore服务的同一台服务器上,而远程元数据存储则允许在独立的数据库服务器上管理元数据。MySQL作为流行的开源关系型数据库管理系统,常被用作Hive的远程元数据存储。 ...

    hive 20160130

    - Hive包括元数据存储、HiveServer、Hive CLI、Hive Metastore、HQL解析等组件。 - 元数据存储:保存表的结构、分区信息、位置等。 - HiveServer:处理客户端请求,支持多用户并发访问。 - Hive CLI:命令行接口...

    hive远程连接工具和jar.zip

    SQuirreL SQ Client的特性包括自定义视图、保存查询、结果集的导出等,对于开发人员和数据分析师来说,是一个非常实用的Hive管理工具。 要使用SQuirreL SQ Client连接到远程Hive服务器,你需要确保配置了正确的连接...

    apache-hive-3.1.2-bin.tar.gz

    1. **元数据存储**:Hive存储关于表、列、分区等的元数据,这些信息通常保存在MySQL或Derby这样的关系型数据库中。 2. **编译器**:将HQL转换为MapReduce或Tez任务,对于Hive 3.1.2,它也支持Spark执行引擎。 3. **...

    电商数仓项目(十) Hive安装与配置.rar

    4. **创建元数据数据库**:Hive需要一个元数据存储库来保存表结构和分区信息。可以选择MySQL、PostgreSQL或其他兼容的数据库来创建元数据数据库。 5. **启动Hive**:通过命令行启动Hive服务,包括Hive Metastore ...

    Hive配置(Oracle数据库为元数据)

    保存文件后,执行 `source ~/.bashrc` 命令使更改生效。 **3. 配置 Hive 的环境文件** 接下来,我们需要对 Hive 的配置文件进行修改。首先,进入 Hive 的 conf 目录下,拷贝模板配置文件并重命名。具体步骤如下: ...

    SpagoBI集成Hive数据库

    1. **安装Hive**:首先,你需要在你的服务器上安装Hive,包括设置Hadoop环境,配置Hive的metastore服务,以及创建必要的表和权限。这涉及到Hive的安装指南、配置文件修改(如`hiveserver2-site.xml`)以及数据库表的...

    hive安装包Linux包

    Client与用户交互,MetaStore保存元数据,Driver解析和编译SQL查询,Compiler生成执行计划,Executor负责执行,而HDFS则是数据的存储层。 2. **HQL(Hive Query Language)**: Hive提供了一种类似于SQL的查询语言,...

    hive-0.8.1.tar.gz.zip下载

    元数据通过Hive Metastore服务进行管理,该服务通常运行在独立的服务器上,提供元数据的CRUD操作,并为客户端提供查询服务。 4. **表和分区**:Hive中的表可以按照业务需求进行分区,如时间戳、地区等,这样可以...

    基于hadoop的hive数据仓库的配置

    3. **配置MySQL作为Hive的Metastore** - **检查MySQL是否已安装**:使用`rpm -qa | grep -i mysql`检查是否已安装MySQL。若已安装,可以通过`rpm -qa | grep -i mysql`查看具体版本。 - **安装MySQL**:若未...

    hive数据存储模式

    ### Hive数据存储模式详解 #### 一、Hive的数据存储 Hive作为一款基于Hadoop的数据仓库工具,其核心功能之一就是提供了一种高效的管理大数据的方式。Hive的数据分为两大类:**表数据**和**元数据**。 - **表数据*...

    hive-role.zip

    Hive 的元数据存储(Metastore)服务在权限控制中起着核心作用,因为它保存了所有关于表、分区、角色等的元数据信息。确保 Metastore 的安全性对于整体权限管理至关重要。 6. **Hadoop 的安全模式**: 在启用 ...

    hive安装

    - **MetaStore**:元数据存储,保存表、分区、字段等信息,通常与MySQL或Derby数据库结合使用。 - **Driver**:驱动程序,负责解析HQL,生成执行计划。 - **Compiler**:编译器,将HQL转化为MapReduce任务。 - **...

    Hive_mysql教学安装视频.zip

    在Hive与MySQL集成的场景中,MySQL通常作为元数据存储,用于保存Hive表的信息,如表名、列名、分区等。 集成步骤如下: 1. **安装准备**:确保已安装了Linux操作系统,同时安装好Hadoop环境,因为Hive依赖于Hadoop...

    hadoop+hive环境安装包.rar

    1. **HDFS作为存储层**:Hive的数据默认存储在HDFS上,Hive会将表结构信息存储在metastore中,数据文件则按照Hive的分区策略分布在HDFS的不同目录下。 2. **Hive查询执行**:当用户提交HQL查询时,Hive会将其转换为...

    hive安装指南

    首先确保Hadoop已经启动,然后通过以下命令启动Hive的元数据服务(Hive Metastore): ```bash sudo service hive-metastore start ``` 接着,启动Hive的交互式shell: ```bash hive ``` 至此,Hive的...

    apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar

    在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...

    hive语法和常用函数[归纳].pdf

    内部表:Hive中的表和传统数据库中的表在概念上是类似的,Hive的每个表都有自己的存储目录,除了外部表外,所有的表数据都存放在配置在hive-site.xml文件的${hive.metastore.warehouse.dir}/table_name目录下。...

Global site tag (gtag.js) - Google Analytics