首先安装mysql,见:
http://running.iteye.com/blog/910277
修改字符集为latin1
13.修改my.cnf
[mysqld]
port = 3306
socket = /tmp/mysql.sock
datadir = /opt/workspace/mysql
user=mysql
old_passwords=1
default-character-set=latin1
skip-character-set-client-handshake
wait_timeout=864000
interactive-timeout=864000
max_connections=2000
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[client]
socket=/tmp/mysql.sock
#default-character-set=utf8
14.登录客户端查看
mysql> SHOW VARIABLES LIKE '%character%';
+--------------------------+----------------------------------------+
| Variable_name | Value |
+--------------------------+----------------------------------------+
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | latin1 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/local/mysql/share/mysql/charsets/ |
+--------------------------+----------------------------------------+
8 rows in set (0.00 sec)
除了system为utf8,其他最好为latin1,否则可能出现异常com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes )
修改数据库的binlog
set global binlog_format='MIXED';
READ-COMMITTED需要把bin-log以mixed方式来记录
否则进入hive,会如下错误
FAILED: Error in metadata: javax.jdo.JDOException: Couldnt obtain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'
分享到:
相关推荐
随着大数据技术的快速发展,搭建和维护一个高效稳定的大数据集群已经成为企业迫切需要解决的问题。Hadoop作为大数据生态中的基石,其集群环境的搭建一直是技术领域关注的焦点。通过使用Ambari这样的平台,可以极大地...
6. **创建数据源**:配置完成后,你可以创建一个新的数据源,选择刚刚创建的Hive驱动,输入连接信息,然后保存。 7. **使用Hive in DataGrip**:现在你可以在DataGrip中编写和执行HQL,浏览数据表,进行数据查询和...
本地元数据存储将元数据保存在运行Hive Metastore服务的同一台服务器上,而远程元数据存储则允许在独立的数据库服务器上管理元数据。MySQL作为流行的开源关系型数据库管理系统,常被用作Hive的远程元数据存储。 ...
- Hive包括元数据存储、HiveServer、Hive CLI、Hive Metastore、HQL解析等组件。 - 元数据存储:保存表的结构、分区信息、位置等。 - HiveServer:处理客户端请求,支持多用户并发访问。 - Hive CLI:命令行接口...
SQuirreL SQ Client的特性包括自定义视图、保存查询、结果集的导出等,对于开发人员和数据分析师来说,是一个非常实用的Hive管理工具。 要使用SQuirreL SQ Client连接到远程Hive服务器,你需要确保配置了正确的连接...
1. **元数据存储**:Hive存储关于表、列、分区等的元数据,这些信息通常保存在MySQL或Derby这样的关系型数据库中。 2. **编译器**:将HQL转换为MapReduce或Tez任务,对于Hive 3.1.2,它也支持Spark执行引擎。 3. **...
4. **创建元数据数据库**:Hive需要一个元数据存储库来保存表结构和分区信息。可以选择MySQL、PostgreSQL或其他兼容的数据库来创建元数据数据库。 5. **启动Hive**:通过命令行启动Hive服务,包括Hive Metastore ...
保存文件后,执行 `source ~/.bashrc` 命令使更改生效。 **3. 配置 Hive 的环境文件** 接下来,我们需要对 Hive 的配置文件进行修改。首先,进入 Hive 的 conf 目录下,拷贝模板配置文件并重命名。具体步骤如下: ...
1. **安装Hive**:首先,你需要在你的服务器上安装Hive,包括设置Hadoop环境,配置Hive的metastore服务,以及创建必要的表和权限。这涉及到Hive的安装指南、配置文件修改(如`hiveserver2-site.xml`)以及数据库表的...
Client与用户交互,MetaStore保存元数据,Driver解析和编译SQL查询,Compiler生成执行计划,Executor负责执行,而HDFS则是数据的存储层。 2. **HQL(Hive Query Language)**: Hive提供了一种类似于SQL的查询语言,...
元数据通过Hive Metastore服务进行管理,该服务通常运行在独立的服务器上,提供元数据的CRUD操作,并为客户端提供查询服务。 4. **表和分区**:Hive中的表可以按照业务需求进行分区,如时间戳、地区等,这样可以...
3. **配置MySQL作为Hive的Metastore** - **检查MySQL是否已安装**:使用`rpm -qa | grep -i mysql`检查是否已安装MySQL。若已安装,可以通过`rpm -qa | grep -i mysql`查看具体版本。 - **安装MySQL**:若未...
### Hive数据存储模式详解 #### 一、Hive的数据存储 Hive作为一款基于Hadoop的数据仓库工具,其核心功能之一就是提供了一种高效的管理大数据的方式。Hive的数据分为两大类:**表数据**和**元数据**。 - **表数据*...
Hive 的元数据存储(Metastore)服务在权限控制中起着核心作用,因为它保存了所有关于表、分区、角色等的元数据信息。确保 Metastore 的安全性对于整体权限管理至关重要。 6. **Hadoop 的安全模式**: 在启用 ...
- **MetaStore**:元数据存储,保存表、分区、字段等信息,通常与MySQL或Derby数据库结合使用。 - **Driver**:驱动程序,负责解析HQL,生成执行计划。 - **Compiler**:编译器,将HQL转化为MapReduce任务。 - **...
在Hive与MySQL集成的场景中,MySQL通常作为元数据存储,用于保存Hive表的信息,如表名、列名、分区等。 集成步骤如下: 1. **安装准备**:确保已安装了Linux操作系统,同时安装好Hadoop环境,因为Hive依赖于Hadoop...
1. **HDFS作为存储层**:Hive的数据默认存储在HDFS上,Hive会将表结构信息存储在metastore中,数据文件则按照Hive的分区策略分布在HDFS的不同目录下。 2. **Hive查询执行**:当用户提交HQL查询时,Hive会将其转换为...
首先确保Hadoop已经启动,然后通过以下命令启动Hive的元数据服务(Hive Metastore): ```bash sudo service hive-metastore start ``` 接着,启动Hive的交互式shell: ```bash hive ``` 至此,Hive的...
在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...
内部表:Hive中的表和传统数据库中的表在概念上是类似的,Hive的每个表都有自己的存储目录,除了外部表外,所有的表数据都存放在配置在hive-site.xml文件的${hive.metastore.warehouse.dir}/table_name目录下。...