修改hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://vmtmstorm01:3306/hive2?useUnicode=true&characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123</value>
</property>
在mysql中创建database库:
create database hive2 DEFAULT CHARACTER SET utf8;
grant all on hive2.* TO 'hive'@'%' IDENTIFIED BY '123';
在hive2数据库中创建hive元数据存放的库表
mysql>source /opt/cloudera/parcels/CDH/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.12.0.mysql.sql
分享到:
相关推荐
- Hive需要依赖JDK和Hadoop环境,同时实验中还涉及了MySQL数据库的连接,因此需要安装JDBC驱动,如`mysql-connector-java-5.1.42-bin.jar`。 2. **启动Hadoop集群**: - 启动Zookeeper服务,它是Hadoop分布式协调...
这个版本的驱动是 JDBC (Java Database Connectivity) 的实现,允许 Java 开发人员在 Hadoop 生态系统中,尤其是 Hive 组件上与 MySQL 数据库进行交互。Hadoop 是一个分布式计算框架,主要处理海量数据,而 Hive 是...
- 在Hive的配置文件`hive-site.xml`中指定MySQL的相关参数: ```xml <name>javax.jdo.option.ConnectionURL <value>jdbc:mysql://slave-01:3306/hive?createDatabaseIfNotExist=true <name>javax.jdo....
- 检查MySQL数据库中Hive元数据表的版本信息,确认是否存在多版本的情况。 ```sql SELECT * FROM version; ``` - 如果确实存在多版本,则可以通过删除冗余版本或更新版本信息来解决问题。 - 为避免再次出现多...
1. **Local/Embedded Metastore Database (Derby)**:默认的轻量级模式,元数据存储在内嵌的Derby数据库中,适合开发和测试环境。 2. **Remote Metastore Database**:元数据存储在外部数据库,如MySQL,适合生产...
1. **元数据高可用**:Hive的元数据存储在MySQL或Derby等数据库中,元数据的丢失或单点故障可能导致服务中断。通过设置多主模式或使用HA支持的数据库(如MySQL的复制)来确保元数据的冗余和一致性。 2. **Hive ...
CDH中的某些服务,如Cloudera Manager,依赖于MySQL数据库来存储配置和监控数据。因此,安装和配置MySQL是部署过程的关键步骤。确保选用与CDH兼容的MySQL版本,并遵循安全最佳实践进行配置。 **3. 离线安装Cloudera...
在安装Hadoop时,首先需要在CentOS7上进行基础配置,包括创建必要的文件夹,导入和解压JDK及Hadoop安装包,并设置相应的环境变量。对于JDK,需要修改`JAVA_HOME`、`JRE_HOME`、`CLASSPATH`和`PATH`等环境变量。对于...
2. **更新YUM仓库地址:** 在数据库中执行如下SQL命令,以更新各仓库的URL: - 更新HDP仓库地址: ``` UPDATE repo_definition SET base_url=...
例如,需要从多个观测站收集数据,并将其存储到Hive中进行进一步分析。 **核心知识点:** - **API调用技术**:如何使用Shell或Python脚本调用API接口。 - **数据集成工具**:DataX等工具的使用方法及其优势。 - **...