`
fuyanqing03
  • 浏览: 61647 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

hive连接mysql配置

阅读更多
1、进入hive/conf目录下,修改hive-default.xml:
<property>
  <name>hive.metastore.local</name>
  <value>true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.0.121:3307/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>root</value>
  <description>password to use against metastore database</description>
</property>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/home/hadoop/hive/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>


然后启动 bin/hive,执行show tables命令 这时报FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user 'root'@'fuyanqing.feinno.com' (using password: YES)。这是因为mysql不允许远程访问的问题,执行 grant all on *.*  to 'root'@'%' identified by 'root';
然后再执行show tables命令,这时报:FAILED: Error in metadata: javax.jdo.JDODataStoreException: An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 767 bytes。
这个问题是因为hive对mysql的UTF-8编码方式有限制,修改一下mysql的编码方式即可:alter database name character set latin1;
分享到:
评论

相关推荐

    hive远程连接详细配置

    Hive 远程连接的详细配置包括 Hive 客户端配置、Hive 服务器配置、MySQL 配置和启动测试。通过这些配置,我们可以实现 Hive 客户端与 Hive 服务器之间的远程连接,以便在分布式环境中实现数据仓库的管理和分析。

    简单的spark 读写hive以及mysql

    在大数据处理领域,Apache Spark 和 Apache Hive 以及 MySQL 是三个重要的组件。Spark 提供了高效的数据处理能力,而 Hive 则是基于 Hadoop 的数据仓库工具,MySQL 是一种广泛使用的开源关系型数据库。本篇文章将...

    spring-boot集成mybtis+druid实现hive/mysql多数据源切换

    要实现多数据源切换,我们需要在Spring Boot的配置文件(如application.properties或application.yml)中定义两个数据源,分别对应MySQL和Hive。然后,我们可以创建两个DataSource bean,分别对应这两个数据源,利用...

    springboot+mybatisplus+druid+hive+mysql.zip

    【标题】"springboot+mybatisplus+druid+hive+mysql.zip" 是一个整合了多种技术的项目压缩包,其中包含Spring Boot、MyBatisPlus、Druid、Hive和MySQL等关键组件。这些技术在现代软件开发,尤其是大数据处理和Web...

    cloudera manager中添加hive数据库使用mysql的配置步骤

    在Cloudera Manager中配置Hive使用MySQL数据库涉及多个步骤,从卸载CentOS默认MySQL到配置完毕,下面详细说明每一步的知识点。 首先,确保在添加Hive数据库前,系统中不存在先前安装的MySQL版本。使用命令rpm -qa |...

    sparksql连接mysql,hive

    使用`SparkSession.builder().appName("yourApp").enableHiveSupport().getOrCreate()`来创建一个支持Hive的SparkSession,然后可以执行如`spark.read.format("jdbc").options(...).load()`来连接MySQL数据库。...

    hive3.1.2+mysql驱动.zip

    在Hive 3.1.2中,正确配置MySQL驱动后,可以实现Hive与MySQL之间的无缝连接,确保数据操作的稳定性。 为了配置Hive 3.1.2与MySQL的连接,你需要做以下几步: 1. 安装并启动MySQL服务,创建专门的数据库和用户用于...

    Hive、MySQL、HBase数据互导

    【Hive、MySQL、HBase数据互导】是大数据领域常见的数据处理操作,涉及三个不同的数据存储系统。Hive是一个基于Hadoop的数据仓库工具,它允许使用类SQL的查询语言HiveQL对大规模数据进行批处理和分析。MySQL是一种...

    大数据入门HIVE和MySQL安装包

    3. **配置Hive**:修改`conf/hive-site.xml`,设置Metastore连接信息,以及Hadoop相关配置。 4. **创建Metastore数据库**:在MySQL中创建用于存储Hive元数据的数据库和用户。 5. **启动Hive**:启动Hive Server2和...

    大数据教程-Hive的安装与配置.pdf

    如果选择MySQL,需要进行连接配置并初始化数据库。 7. Hive安装完成后,还需要配置环境变量,通常包括`HADOOP_HOME`, `HIVE_HOME`, `PATH`等。这样可以在命令行直接使用Hive命令。 8. Hive的运行通常涉及到启动...

    apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar

    4. 配置Hive:修改`conf/hive-site.xml`,配置Hive的元数据存储(如使用MySQL)、HDFS位置、Hadoop的配置路径等。 5. 安装MySQL:如果使用MySQL作为元数据存储,需要安装并配置MySQL服务器。 6. 导入MySQL连接器:将...

    Hive_mysql教学安装视频.zip

    - `javax.jdo.option.ConnectionURL`:指定连接MySQL的URL,如`jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true` - `javax.jdo.option.ConnectionDriverName`:MySQL驱动,通常是`...

    hive1.2.1-mysql-connector.rar

    MySQL Connector/J是MySQL的JDBC驱动,它实现了JDBC接口,使得Java应用能通过标准的JDBC API连接MySQL数据库。 - **配置Hive与MySQL集成**:在使用MySQL作为Hive元数据存储时,需要配置Hive-site.xml文件,设置`...

    Hive安装,使用MySQL作为元数据库

    3. **配置Hive连接MySQL**: 打开Hive的配置文件`$HIVE_HOME/conf/hive-site.xml`,添加以下配置: ```xml &lt;name&gt;javax.jdo.option.ConnectionURL &lt;value&gt;jdbc:mysql://localhost:3306/hive_metastore?...

    hive+mysql-connector-java-5.1.38.zip

    在Hive中,可以通过配置Hive的JDBC驱动来连接外部数据源,如MySQL,这样Hive就可以查询和操作存储在MySQL中的数据。具体步骤可能包括以下几步: 1. **配置Hive**: 在Hive的配置文件`hive-site.xml`中,添加关于...

    hive-mysqlconnector.rar

    而“mysql-connector-java jar包”则是用于在Java应用程序中连接MySQL数据库的驱动程序。 Hive是Apache软件基金会的一个开源项目,它提供了一个数据仓库基础设施,基于Hadoop,使得数据存储在分布式文件系统中,...

    大数据技术基础实验报告-Hive安装配置与应用.doc

    修改MySQL配置文件,允许远程连接: ``` vim /etc/mysql/mysql.conf.d/mysqld.cnf ``` 将`bind-address`改为`0.0.0.0`,然后重启MySQL服务。 2. **安装Hive** 在`/install-package`目录下解压Hive安装包到`/...

    hive的安装与配置头歌.zip

    - 在 `hive-site.xml` 文件中,配置 Hive 的各种属性,如 Metastore 数据库连接信息、HDFS 存储位置等。例如: ```xml &lt;name&gt;hive.metastore.uris &lt;value&gt;thrift://localhost:9083 &lt;name&gt;hive.metastore....

    Hive安装所需软件文件压缩包(包括Hive,Mysql以及依赖包).rar

    在Hive的安装过程中,涉及到的主要软件包括Hive本身、MySQL连接器以及MySQL服务器和客户端。下面将详细介绍这些组件及其作用。 1. Hive Hive是Apache Software Foundation开发的一个数据仓库工具,它允许用户使用...

Global site tag (gtag.js) - Google Analytics