`
xuxingyin
  • 浏览: 48500 次
  • 性别: Icon_minigender_1
  • 来自: 青岛
社区版块
存档分类
最新评论

Hive用MySQL做元数据保存的数据库时,mySQL设置

阅读更多

来自:http://blog.c114.net/html/71/482871-63880.html

安装MySQL:

# tar -zxvf mysql-5.1.37.tar.gz -C /usr/local

# cd /usr/local/mysql-5.1.37/

# ./configure --prefix=/usr/local/mysql --localstatedir=/usr/local/mysql/data/ --without-debug --with-charset=utf8 --with-extra-charsets=all --enable-assembler --with-pthread --enable-thread-safe-client --with-client-ldflags=-all-static --with-mysqld-ldflags=-all-static --with-big-tables --with-plugins=all

# make && make install

# cp ./support-files/mysql.server /etc/init.d/mysql

# groupadd mysql

# useradd -g mysql mysql

# chmod 777 /etc/init.d/mysql

# /usr/local/mysql/bin/mysql_install_db --user=mysql

或cp -R ./win/data/mysql /usr/local/mysql/data/

# chown -R mysql:mysql /usr/local/mysql/data/

# chmod 777 /usr/local/mysql/data/

# vi /etc/my.cnf

[mysqld]

datadir=/usr/local/mysql/data/

socket=/usr/local/mysql/data/mysql.sock

user=mysql

old_passwords=1

default-character-set=latin1

skip-character-set-client-handshake

wait_timeout=864000

interactive-timeout=864000

max_connections=2000

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

[client]

socket=/usr/local/mysql/data/mysql.sock

#default-character-set=utf8

# service mysql start

# /usr/local/mysql/bin/mysqladmin -u root -p password 'xxxxxx'

# mysql -uroot -p

mysql> SHOW VARIABLES LIKE '%character%';  (除了system为utf8,其他最好为latin1,否则可能出现异常com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | latin1                     |
| character_set_connection | latin1                     |
| character_set_database   |
latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | latin1                     |
| character_set_server     | latin1                     |
| character_set_system     |
utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

mysql> show engines; (最好有InnoDB模式支持)
+------------+---------+----------------------------------------------------------------+--------------+------+------------+
| Engine     | Support | Comment                                                        | Transactions | XA   | Savepoints |
+------------+---------+----------------------------------------------------------------+--------------+------+------------+
| ndbcluster | NO      | Clustered, fault-tolerant tables                               | NULL         | NULL | NULL       |
| MRG_MYISAM | YES     | Collection of identical MyISAM tables                          | NO           | NO   | NO         |
| BLACKHOLE  | YES     | /dev/null storage engine (anything you write to it disappears) | NO           | NO   | NO         |
| CSV        | YES     | CSV storage engine                                             | NO           | NO   | NO         |
| MEMORY     | YES     | Hash based, stored in memory, useful for temporary tables      | NO           | NO   | NO         |
| FEDERATED  | NO      | Federated MySQL storage engine                                 | NULL         | NULL | NULL       |
| ARCHIVE    | YES     | Archive storage engine                                         | NO           | NO   | NO         |
|
InnoDB     | YES     | Supports transactions, row-level locking, and foreign keys     | YES          | YES  | YES        |
| MyISAM     | DEFAULT | Default engine as of MySQL 3.23 with great performance         | NO           | NO   | NO         |
+------------+---------+----------------------------------------------------------------+--------------+------+------------+
9 rows in set (0.00 sec)

分享到:
评论

相关推荐

    Hive安装,使用MySQL作为元数据库

    通常,Hive默认使用Derby数据库作为元数据库,但当面对大规模数据处理时,Derby可能无法满足高并发和稳定性需求,因此选择更强大的MySQL作为元数据库是常见的做法。 **安装Apache Hive** 1. **下载与解压**: 首先...

    Hive metastore 使用达梦数据库存储元数据

    《Hive metastore 使用达梦数据库存储元数据详解》 在大数据处理领域,Hive作为一个分布式数据仓库工具,被广泛用于存储和管理大规模结构化数据。Hive的元数据是其核心组成部分,它包含了表、分区、列等信息,使得...

    hive1.2.1用mysql作为元数据库搭建DT-大数据.pdf

    Hive使用MySQL作为元数据存储数据库(元数据库)是一个常见的做法,这有利于管理Hive中表的结构和属性等信息。元数据库主要存储了表结构、分区信息、表属性等元数据。 在安装Hive时,一般情况下仅需要在单个节点...

    java操作Hive源码之HiveJDBC实例(mysql数据库)

    通过以上步骤,你将能够使用Java通过HiveJDBC连接到MySQL作为元数据存储的Hive服务,并执行各种数据库操作。记住,理解每个组件的工作原理以及它们之间的交互对于有效的问题定位和性能优化至关重要。

    cloudera manager中添加hive数据库使用mysql的配置步骤

    在Cloudera Manager中配置Hive使用MySQL数据库涉及多个步骤,从卸载CentOS默认MySQL到配置完毕,下面详细说明每一步的知识点。...完成所有步骤后,Hive就可以使用MySQL作为后端数据库来进行元数据存储和管理了。

    hive3.1.2+mysql驱动.zip

    本地元数据存储将元数据保存在运行Hive Metastore服务的同一台服务器上,而远程元数据存储则允许在独立的数据库服务器上管理元数据。MySQL作为流行的开源关系型数据库管理系统,常被用作Hive的远程元数据存储。 ...

    hive1.2.1-mysql-connector.rar

    - **配置Hive与MySQL集成**:在使用MySQL作为Hive元数据存储时,需要配置Hive-site.xml文件,设置`javax.jdo.option.ConnectionURL`、`javax.jdo.option.ConnectionDriverName`、`javax.jdo.option....

    mysql数据抽取,自动生成hive建表语句

    2. **解析表结构**:查询MySQL的元数据信息,如字段名、字段类型、字段长度、是否为主键等。 3. **映射数据类型**:将MySQL的数据类型映射到Hive支持的数据类型。例如,MySQL的INT映射为Hive的INT,VARCHAR映射为...

    Hive4--HIVE元数据库.pdf

    元数据库存储了关于Hive表、列、分区等对象的所有元数据信息,使得Hive能够理解数据的结构和位置,从而执行查询。 元数据库通常存储在关系数据库管理系统(RDBMS)中,例如MySQL或Derby。在本例中,我们以Derby为例...

    hive-3.1.2&mysql-5.7.2安装包.rar

    在 Hive 中设置 metastore(元数据存储)连接,可以选择本地 MySQL 实例作为 metastore 服务,这将提高 Hive 的性能和数据一致性。 总的来说,这个安装包提供了在大数据环境中使用 Hive 进行数据处理并与 MySQL ...

    大数据入门HIVE和MySQL安装包

    4. **创建Metastore数据库**:在MySQL中创建用于存储Hive元数据的数据库和用户。 5. **启动Hive**:启动Hive Server2和Hive Metastore服务,可以通过`hive`命令进入交互式shell。 **MySQL介绍** MySQL是一种快速、...

    使用mysql作为hive的元数据库

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,...这使得Hive在处理大量数据时能够更有效地管理元数据,从而提升整个数据分析流程的效率。

    数据仓库hive用到的mysql安装包

    mysql安装包,mysql外界数据库作为存储hive元数据的存储介质,它的存在,方便hive用户根据自身的需求对数据进行分析处理。

    apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar

    在Hive中,我们通常会配置MySQL作为元数据存储,用来保存表信息、分区信息等元数据,因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版,包含了运行...

    Hive安装所需软件文件压缩包(包括Hive,Mysql以及依赖包).rar

    在Hive中,MySQL连接器(JDBC驱动)用于与MySQL数据库交互,因为Hive经常需要将元数据(如表名、列名、分区信息等)存储在一个关系型数据库中,MySQL就是常见的选择之一。这个JAR文件包含了Java编程语言中与MySQL...

    远程模式部署Hive时,mysql连接驱动

    当在远程模式下部署Hive时,为了实现元数据的存储与管理,我们需要配置一个外部数据库,如MySQL。这里提到的知识点是关于如何在远程Hive部署中设置MySQL连接驱动。 在远程模式下,Hive不再使用内嵌的Derby数据库作为...

    hive介绍 安装 和 mysql 数据库的安装

    通过以上步骤,不仅完成了MySQL的安装配置,还为Hive创建了所需的元数据库并进行了授权设置,为后续使用Hive奠定了基础。 ### 数据仓库与数据库的区别 数据仓库和数据库虽然都用于存储数据,但其用途和设计目标...

    Hive_mysql教学安装视频.zip

    在Hive与MySQL集成的场景中,MySQL通常作为元数据存储,用于保存Hive表的信息,如表名、列名、分区等。 集成步骤如下: 1. **安装准备**:确保已安装了Linux操作系统,同时安装好Hadoop环境,因为Hive依赖于Hadoop...

    Linux hadoop,hive,javajdk,mysql数据库等压缩包

    5. 链接Hive与MySQL,例如,可以设置Hive的metastore服务使用MySQL存储元数据。 6. 测试所有服务的正确运行,如启动Hadoop集群,执行Hive查询等。 以上就是这个压缩包中各组件的主要功能和它们在大数据处理环境中的...

    hive-mysqlconnector.rar

    在使用Hive与MySQL集成时,这个JDBC驱动是必不可少的,因为Hive可以将元数据存储在MySQL数据库中。配置Hive Metastore服务连接到MySQL,需要在Hive配置文件(如hive-site.xml)中指定MySQL连接的URL、用户名、密码...

Global site tag (gtag.js) - Google Analytics