1. 描述
Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具。一般来说我们对Hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,这样的模式用来做一些测试比较合适,并不适合做产品的开发和应用。
因此,就产生了Hive的JDBC连接的方式。本文介绍报表开发工具FineReport中,hadoop、hive数据库连接方法。
Hive提供了jdbc驱动,使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作,首先我们需要将这些驱动拷贝到报表工程下面,然后再建立连接,最后通过连接进行数据查询。
将hadoop里的hadoop-common.jar拷贝至报表工程appname/WEB-INF/lib下;
将hive里的hive-exec.jar、hive-jdbc.jar、hive-metastore.jar、hive-service.jar、libfb303.jar、log4j.jar、slf4j-api.jar、slf4j-log4j12.jar拷贝至报表工程appname/WEB-INF/lib下。
启动设计器,打开服务器>定义数据连接,新建JDBC连接。
在Hive 0.11.0版本之前,只有HiveServer服务可用,在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务。而HiveServer本身存在很多问题(比如:安全性、并发性等);针对这些问题,Hive0.11.0版本提供了一个全新的服务:HiveServer2,这个很好的解决HiveServer存在的安全性、并发性等问题,所以下面我们分别介绍HiveServer和HiveServer2配置数据连接的方式。
· HiveServer
数据库驱动:org.apache.hadoop.hive.jdbc.HiveDriver
URL:jdbc:hive://localhost:10000/default
注:hive服务默认端口为10000,根据实际情况修改端口;另外目前只支持默认数据库名default,所有的Hive都支持。
测试连接,提示连接成功即可。
· HiveServer2
数据库驱动:org.apache.hive.jdbc.HiveDriver
URL:jdbc:hive2://localhost:10000/default
注:该连接方式只支持Hive0.11.0及之后版本。
相关推荐
可用于数据库客户端连接、FineReport 等报表工具连接 包含 Jar 包列表: 01、hadoop-common-3.0.0-cdh6.3.1.jar 02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-...
使用Mysql构建简单数据集市29#Mysql的两种引擎介绍29#创建一个数据表使用Hive cli 进行数据分析29#使用shell 编写Hsql 并使用HiveCli导出数据,使用Mysql命令加载到数据库中。29#使用crontab 新增每日运行任务定时器...
FineReport是一款报表设计软件,支持多种数据库连接,包括Impala和Hive。这意味用户可以使用FineReport连接到CDH集群,利用Impala和Hive进行数据查询和报告制作。 从标签"impala cdh 6.2.0 hive"我们可以推断,这个...
其次,大数据平台通常采用Hadoop+Hive的组合,这种解决方案具有高度的灵活性和可扩展性。ETL工具方面,kettle、Talend和Pentaho较为流行。Talend以其良好的扩展性和可定制性脱颖而出,而Pentaho则以其易用性和与Java...
大数据平台通常采用Hadoop+Hive的组合,华为、星环和新华三等厂商提供了相应的大数据平台产品,近年来也开始涉足数据中台领域。然而,数据中台的概念更多地与互联网公司的需求相匹配,传统企业可能更需要关注数据化...
1. **数据仓库**:数据仓库是用于存储和管理历史数据的解决方案,根据企业需求,可以选择传统数仓、数据集市或大数据平台。常见的数据仓库服务器包括Oracle、db2和Greenplum、Teradata等。Teradata在银行业应用广泛...
此外,大数据平台如Hadoop+Hive组合提供了强大的数据处理能力,成为许多企业的首选。 ETL(Extract, Transform, Load)工具在数据处理中扮演着至关重要的角色。Talend因其扩展性和定制化能力深受喜爱,但要求用户...
主流的大数据平台通常是Hadoop与Hive的组合,提供大规模数据处理能力。各大厂商如华为、星环、新华三等,也在构建自己的大数据平台,并逐渐向“数据中台”概念靠拢。 3. ETL工具(Extract, Transform, Load): ...
华为、星环和新华三等厂商提供了相应的大数据平台解决方案,近年来,这些厂商也开始涉足数据中台领域。不过,数据中台的概念更多适用于拥有丰富数据资源的大型企业,强调数据服务化,而一般企业应首先确保数据化管理...
* 熟悉大数据 Hadoop 生态及部分相关组件,如 HDFS、MapReduce 等 * 熟悉 ETL 工具如 kettle、sqoop * 熟悉 Linux 操作系统以及常见命令 * 掌握可视化、报表工具:FineReport * 掌握 PL/SQL 的一些相关操作 自我...