1.install mysql
yum install mysql
yum install mysql-server
yum install mysql-devel
chgrp -R mysql /var/lib/mysql
chmod -R 770 /var/lib/mysql
service mysqld start
mysql
SET PASSWORD FOR 'root'@'localhost' = PASSWORD('secret_password');
2.安装hive
1,下载wget http://labs.renren.com/apache-mirror//hive/stable/hive-0.8.1.tar.gz
2,解压tar -zxvf hive-0.7.0.tar.gz(注意文件用户权限,和hadoop不一致要修改)
3,配置conf/hive-env.sh.template
export HADOOP_HOME=/usr/local/hadoop-0.20.203.0
export HIVE_HOME =/usr/local/hadoop-0.20.203.0/hive-0.8.1
export JAVA_HOME=/usr/local/jdk1.6.0_25
4,在hive目录下执行bin/hive测试成功是否
Hive history file=/tmp/tmg/hive_job_log_tmg_201105241042_506926685.txt
hive>
执行show tables;
OK
Time taken: 1.482 seconds
安装完成,是不是很easy!
3.配置hive元数据库
修改配置文件hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<!-- <value>jdbc:derby:;databaseName=metastore_db;create=true</value>-->
<value>jdbc:mysql://172.16.80.19:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<!--<value>org.apache.derby.jdbc.EmbeddedDriver</value>-->
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>zone2009</value>
<description>password to use against metastore database</description>
</property>
下载mysql driver到hive-home/lib目录下
启动hive --service hwi
执行
http://ip:9999/hwi
能正常看到如下:
UserAuthorizeBrowse Schema Create Session Diagnostics List Sessions |
Database List
|
后台会提示mysql数据库创建成功。
相关推荐
要实现多数据源切换,我们需要在Spring Boot的配置文件(如application.properties或application.yml)中定义两个数据源,分别对应MySQL和Hive。然后,我们可以创建两个DataSource bean,分别对应这两个数据源,利用...
Spark 提供了高效的数据处理能力,而 Hive 则是基于 Hadoop 的数据仓库工具,MySQL 是一种广泛使用的开源关系型数据库。本篇文章将深入探讨如何使用 Spark 与 Hive 和 MySQL 进行数据交互。 首先,`SparkToHive....
springboot +hive+mysql 多数据源切换 个人写了一个demo 并测试通过 下载地址
3. **Druid数据源的配置**:初始化参数设置、监控配置、连接池的健康检查、性能优化等。 4. **Hive的JDBC连接**:在Java代码中如何使用Hive JDBC驱动建立与Hadoop集群的连接,执行HQL语句。 5. **Hive与MySQL的交互*...
本项目涉及的主题是“springboot多数据源代码”,这意味着我们将探讨如何在SpringBoot应用中配置和管理多个数据源,包括Hive和MySQL数据库。 Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为...
3. **创建外部表**: 定义一个Hive外部表,其表结构对应于MySQL中的表结构,并指定MySQL作为数据源。 4. **查询数据**: 现在可以像操作普通Hive表一样,对MySQL数据库中的数据进行SQL查询和分析。 这个压缩包的用途...
(3)sqoop数据迁移,完成HIve与MySQL数据库中的数据交互 (4)Echarts搭建动态可视化大屏 (5)SpringBoot搭建可视化后台系统,完成前端与后台的数据传递与交互。 (6)基于Cenots7 搭建虚拟机,配置Hadoop、HDFS、...
在企业级应用开发和部署过程中,数据库作为数据存储的中心,其重要性不言而喻。JEECG(Java EE Code Generation platform)作为一个领先的代码生成平台,提供了方便快捷的数据库切换方法。在进行JEECG切换数据库时,...
通过上述步骤,可以成功安装Hive,并且将其配置为使用MySQL作为元数据库,之后就可以开始使用Hive进行数据查询和分析了。需要注意的是,Hive对于MySQL的支持在内部实现良好,使得用户可以专注于数据处理而不是底层...
Hive通过JDBC(Java Database Connectivity)接口与外部数据源(如MySQL)通信。JDBC驱动是Java应用程序连接到数据库的桥梁。在`mysql_hive_jar`中,可能包含了MySQL的JDBC驱动 jar 文件,例如`mysql-connector-...
Sqoop 的核心概念是将数据从一个数据源(如 MySQL)传输到另一个数据源(如 Hive),或者从 Hive 导出数据到 MySQL 等关系数据库管理系统。Sqoop 使用 JDBC 连接器来连接不同类型的数据库,实现数据的传输和映射。 ...
在安装Hive之前,一般需要先安装和配置好MySQL数据库,因为Hive会使用MySQL来存储其元数据。元数据是关于数据的数据,例如表结构定义、表之间关系、数据字段等。Hive依赖MySQL存储这些重要的元数据信息,是Hive正常...
2. 添加Hive数据源:在DBeaver中,选择“数据库” -> “新连接”,在弹出的“新建数据库连接”窗口中,选择“其他” -> “Hive (JDBC)”。 3. 配置连接参数:输入Hive服务器的主机名、端口、用户名和密码。在“JDBC...
为了处理数据源上下文,创建`DynamicDataSourceContextHolder`配置类,用于设置和获取当前线程的数据源: ```java public class DynamicDataSourceContextHolder { public static final ThreadLocal<String> ...
标题中的“从任意hive单表读取并计算数据写入任意mysql单表的hive工具”指的是一款专门用于数据迁移的工具,它能够帮助用户从Hive数据仓库中提取数据,进行必要的计算处理,然后将结果存储到MySQL数据库中。...
在这个项目中,MySQL可能扮演数据源的角色,提供原始的电商交易数据,这些数据随后通过Sqoop导入到Hadoop集群进行分析。 项目文件"BI_project-master"可能包含了项目源代码、配置文件、README文档等资源。源代码...
最后,Grafana是一个强大的可视化工具,它可以连接多种数据源(如Hive、Spark或MySQL),并将数据转化为直观的图表和仪表盘。在本项目中,Grafana可以帮助用户实时监控数据处理的状态,展示关键性能指标,如处理速度...
综上所述,通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术,可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。
1. Hive Metastore:存储元数据,如表结构、分区信息等,通常与数据库(如MySQL)交互,为Hive提供元数据服务。 2. Hive Server:接收客户端请求,处理查询并返回结果,有两种主要的服务模式:HiveServer(HS1)和...
Flume可以将MySQL的数据写入HDFS,以便进行后续的批处理分析或者作为其他Hadoop服务(如Hive、Pig等)的数据源。 4. **Kafka**: Kafka是一个高吞吐量的分布式消息系统,通常用作实时数据管道,将数据从一个位置传输...