首先安装mysql,见:
http://running.iteye.com/blog/910277
修改字符集为latin1
13.修改my.cnf
[mysqld]
port = 3306
socket = /tmp/mysql.sock
datadir = /opt/workspace/mysql
user=mysql
old_passwords=1
default-character-set=latin1
skip-character-set-client-handshake
wait_timeout=864000
interactive-timeout=864000
max_connections=2000
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[client]
socket=/tmp/mysql.sock
#default-character-set=utf8
14.登录客户端查看
mysql> SHOW VARIABLES LIKE '%character%';
+--------------------------+----------------------------------------+
| Variable_name | Value |
+--------------------------+----------------------------------------+
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | latin1 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/local/mysql/share/mysql/charsets/ |
+--------------------------+----------------------------------------+
8 rows in set (0.00 sec)
除了system为utf8,其他最好为latin1,否则可能出现异常com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes )
修改数据库的binlog
set global binlog_format='MIXED';
READ-COMMITTED需要把bin-log以mixed方式来记录
否则进入hive,会如下错误
FAILED: Error in metadata: javax.jdo.JDOException: Couldnt obtain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'
分享到:
相关推荐
Ambari 搭建 Hadoop 集群环境 Ambari 是一个商业化的平台,用于搭建 Hadoop 集群环境。该平台提供了一个端到端的解决方案,包括安装、操作、修改配置和监控集群中的所有节点。使用 Ambari 的 Web UI 和 REST API,...
6. **创建数据源**:配置完成后,你可以创建一个新的数据源,选择刚刚创建的Hive驱动,输入连接信息,然后保存。 7. **使用Hive in DataGrip**:现在你可以在DataGrip中编写和执行HQL,浏览数据表,进行数据查询和...
本地元数据存储将元数据保存在运行Hive Metastore服务的同一台服务器上,而远程元数据存储则允许在独立的数据库服务器上管理元数据。MySQL作为流行的开源关系型数据库管理系统,常被用作Hive的远程元数据存储。 ...
- Hive包括元数据存储、HiveServer、Hive CLI、Hive Metastore、HQL解析等组件。 - 元数据存储:保存表的结构、分区信息、位置等。 - HiveServer:处理客户端请求,支持多用户并发访问。 - Hive CLI:命令行接口...
SQuirreL SQ Client的特性包括自定义视图、保存查询、结果集的导出等,对于开发人员和数据分析师来说,是一个非常实用的Hive管理工具。 要使用SQuirreL SQ Client连接到远程Hive服务器,你需要确保配置了正确的连接...
1. **元数据存储**:Hive存储关于表、列、分区等的元数据,这些信息通常保存在MySQL或Derby这样的关系型数据库中。 2. **编译器**:将HQL转换为MapReduce或Tez任务,对于Hive 3.1.2,它也支持Spark执行引擎。 3. **...
4. **创建元数据数据库**:Hive需要一个元数据存储库来保存表结构和分区信息。可以选择MySQL、PostgreSQL或其他兼容的数据库来创建元数据数据库。 5. **启动Hive**:通过命令行启动Hive服务,包括Hive Metastore ...
保存文件后,执行 `source ~/.bashrc` 命令使更改生效。 **3. 配置 Hive 的环境文件** 接下来,我们需要对 Hive 的配置文件进行修改。首先,进入 Hive 的 conf 目录下,拷贝模板配置文件并重命名。具体步骤如下: ...
1. **安装Hive**:首先,你需要在你的服务器上安装Hive,包括设置Hadoop环境,配置Hive的metastore服务,以及创建必要的表和权限。这涉及到Hive的安装指南、配置文件修改(如`hiveserver2-site.xml`)以及数据库表的...
Client与用户交互,MetaStore保存元数据,Driver解析和编译SQL查询,Compiler生成执行计划,Executor负责执行,而HDFS则是数据的存储层。 2. **HQL(Hive Query Language)**: Hive提供了一种类似于SQL的查询语言,...
元数据通过Hive Metastore服务进行管理,该服务通常运行在独立的服务器上,提供元数据的CRUD操作,并为客户端提供查询服务。 4. **表和分区**:Hive中的表可以按照业务需求进行分区,如时间戳、地区等,这样可以...
3. **配置MySQL作为Hive的Metastore** - **检查MySQL是否已安装**:使用`rpm -qa | grep -i mysql`检查是否已安装MySQL。若已安装,可以通过`rpm -qa | grep -i mysql`查看具体版本。 - **安装MySQL**:若未...
### Hive数据存储模式详解 #### 一、Hive的数据存储 Hive作为一款基于Hadoop的数据仓库工具,其核心功能之一就是提供了一种高效的管理大数据的方式。Hive的数据分为两大类:**表数据**和**元数据**。 - **表数据*...
Hive 的元数据存储(Metastore)服务在权限控制中起着核心作用,因为它保存了所有关于表、分区、角色等的元数据信息。确保 Metastore 的安全性对于整体权限管理至关重要。 6. **Hadoop 的安全模式**: 在启用 ...
- **MetaStore**:元数据存储,保存表、分区、字段等信息,通常与MySQL或Derby数据库结合使用。 - **Driver**:驱动程序,负责解析HQL,生成执行计划。 - **Compiler**:编译器,将HQL转化为MapReduce任务。 - **...
在Hive与MySQL集成的场景中,MySQL通常作为元数据存储,用于保存Hive表的信息,如表名、列名、分区等。 集成步骤如下: 1. **安装准备**:确保已安装了Linux操作系统,同时安装好Hadoop环境,因为Hive依赖于Hadoop...
1. **HDFS作为存储层**:Hive的数据默认存储在HDFS上,Hive会将表结构信息存储在metastore中,数据文件则按照Hive的分区策略分布在HDFS的不同目录下。 2. **Hive查询执行**:当用户提交HQL查询时,Hive会将其转换为...
首先确保Hadoop已经启动,然后通过以下命令启动Hive的元数据服务(Hive Metastore): ```bash sudo service hive-metastore start ``` 接着,启动Hive的交互式shell: ```bash hive ``` 至此,Hive的...
在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...
内部表:Hive中的表和传统数据库中的表在概念上是类似的,Hive的每个表都有自己的存储目录,除了外部表外,所有的表数据都存放在配置在hive-site.xml文件的${hive.metastore.warehouse.dir}/table_name目录下。...