public class HiveUtil { private static Logger logger = LoggerFactory.getLogger(HiveUtil.class); private static BasicDataSource basicDataSource = null; private static String HIVE_DRIVER = null; private static String HIVE_URL = null; static { HIVE_DRIVER = ConfigProperties.getInstance().getValue("hive.driver"); HIVE_URL = ConfigProperties.getInstance().getValue("hive.url"); //创建数据源对象 if (basicDataSource == null) { basicDataSource = new BasicDataSource(); //设置连接数据库的驱动 basicDataSource.setDriverClassName(HIVE_DRIVER); //设置连接数据库的url basicDataSource.setUrl(HIVE_URL); //设置连接数据库的用户名 basicDataSource.setUsername("root"); //设置连接数据库的密码 basicDataSource.setPassword(""); //设置连接池启动时的初始值 basicDataSource.setInitialSize(5); //设置连接池的最大值 basicDataSource.setMaxActive(256); //最大空闲值.当经过一个高峰时间后,连接池可以慢慢将用不到的连接慢慢释放一部分,一直减少到maxIdle为止 basicDataSource.setMaxIdle(20); //最小空闲值.当空闲的连接数少于该值时,连接池就会预申请一些连接,以避免洪峰来时再申请而造成的性能开销 basicDataSource.setMinIdle(5); } } public static Connection getConnection() throws SQLException { return basicDataSource.getConnection(); } public static Statement getStatement(Connection connection) throws SQLException { return connection.createStatement(); } public static PreparedStatement getPreparedStatement(Connection connection, String sql) throws SQLException { return connection.prepareStatement(sql); } public static void switchDB(Connection connection, String database) throws SQLException { Statement statement = getStatement(connection); if (StringUtils.isNotEmpty(database)) { statement.execute("use " + database); } } public static void createTable(Connection connection, String database, String tableName, String sql) throws SQLException { Statement statement = getStatement(connection); if (StringUtils.isNotEmpty(tableName)) { statement.execute("drop table if exists " + tableName); statement.execute(sql); } close(statement); } public static void listTables(Connection connection, String database) throws SQLException { Statement statement = getStatement(connection); ResultSet resultSet = statement.executeQuery("show tables"); while (resultSet.next()) { logger.info(resultSet.getString("tab_name")); } close(resultSet); close(statement); } public static void listTableStructure(Connection connection, String database, String tableName) throws SQLException { Statement statement = getStatement(connection); ResultSet resultSet = statement.executeQuery("describe " + tableName); while (resultSet.next()) { logger.info(resultSet.getString("col_name") + " | " + resultSet.getString("data_type") + " | " + resultSet.getString("comment")); } close(resultSet); } public static void dropTable(Connection connection, String database, String tableName) throws SQLException { Statement statement = getStatement(connection); if (StringUtils.isNotEmpty(tableName)) { statement.execute("drop table if exists " + tableName); } close(statement); } public static void execute(Connection connection, String sql, Boolean isPrepared) throws SQLException { if (isPrepared) { PreparedStatement preparedStatement = getPreparedStatement(connection, sql); ResultSet resultSet = preparedStatement.executeQuery(); close(resultSet); close(preparedStatement); } else { Statement statement = getStatement(connection); statement.execute(sql); close(statement); } } public static ResultSet list(Connection connection, PreparedStatement preparedStatement, Object[] objs) throws SQLException { if (ArrayUtils.isNotEmpty(objs)) { for (int i = 0; i < objs.length; i++) { preparedStatement.setObject(i, objs[i]); } } return preparedStatement.executeQuery(); } public static void close(Connection connection) throws SQLException { if (connection != null) { connection.close(); connection = null; } } public static void close(Statement statement) throws SQLException { if (statement != null) { statement.close(); statement = null; } } public static void close(PreparedStatement preparedStatement) { if (preparedStatement != null) { try { preparedStatement.close(); } catch (SQLException e) { e.printStackTrace(); } preparedStatement = null; } } public static void close(ResultSet resultSet) { if (resultSet != null) { try { resultSet.close(); } catch (SQLException e) { e.printStackTrace(); } resultSet = null; } } }
相关推荐
使用jdbc连接hive 里面提供了很多封装方法 .....................................................................
写ORC 格式文件的工具类,可以用于写hive orc 的格式,
hive权威指南
在这个场景下,我们关注的是一个名为"Hive ParseUtils工具类",它专门服务于Hive SQL的解析工作。 Hive ParseUtils工具类主要负责接收SQL查询语句,并对其进行解析。它的一个显著特性是能够处理包含多段SQL的情况,...
- `hive-common`: Hive的通用库,包含元数据操作、配置和工具类。 - `slf4j`: 日志框架,Hive和其他库可能依赖它进行日志记录。 - `protobuf`: Google的协议缓冲区库,用于数据序列化,Hive可能用它来传递元数据...
在大数据处理领域,Hadoop生态中的Hive作为一个数据仓库工具,常常用于处理大规模的数据分析任务。而SpringBoot作为Java开发中的微服务框架,以其简洁的配置和快速的开发能力深受开发者喜爱。将SpringBoot与Hive-...
Hive是Hadoop项目中的一个子项目,由FaceBook向Apache基金会贡献,其中TaoBao也是其中一位使用者+贡献者,Hive被视为一个仓库工具,可以将结构化的数据文件映射为一张数据库表,并可以将sql语句转换为MapReduce任务...
在大数据处理领域,Hive是一款广泛使用的开源数据仓库系统,它允许用户使用SQL(HQL,Hive Query Language)查询...通过熟练掌握这类工具,用户可以更有效地管理和优化他们的Hive工作负载,确保大数据平台的高效运行。
在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL类查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大规模数据集。本压缩包“hive远程连接工具和jar.zip”包含了用于...
基于Java的DMPSystem内容识别系统 概述 DMPSystem是一个用于内容识别和数据处理的系统,主要功能包括... 工具类Apache Commons Codec, Log4j, UserAgentUtils 项目结构 cicommon公共工具类和常量定义。 ciidentif
Hive JDBC驱动包含了一系列类和方法,允许应用程序建立到Hive Server的连接,执行SQL查询,并获取结果。 安装Hive JDBC驱动通常涉及以下几个步骤: 1. **下载驱动**:你需要从官方网站或者可靠的第三方源下载适用...
《Python连接Hive工具类——PyHS2 0.2详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,因其易用性和高效性而被广泛应用。然而,对于开发人员来说,如何在Python环境中与Hive进行交互呢?这时,...
1. **hive-exec.jar**:包含Hive执行引擎的核心类,用于执行HQL查询。 2. **hive-jdbc.jar**:提供Hive的JDBC驱动,使你能通过JDBC接口连接到Hive服务器。 3. **libthrift.jar**:Thrift库,Hive使用的RPC框架,用于...
在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询存储在Hadoop集群中的大型数据集。Hive JDBC(Java Database Connectivity)是Hive提供的一种...
总结一下,这个压缩包提供了Hive与HBase集成的关键组件,包括Hive-HBase连接器的JAR文件,用户需要将其部署到Hive的类路径下,替换掉可能存在的旧版本。这使得Hive可以方便地读写HBase数据,扩展了Hive的功能,同时...
使用这些jar包时,开发者通常会将它们添加到项目的类路径中,或者在运行Hive命令时通过`-libjars`选项指定。在Hive on Spark模式下,还需要包含Spark的相关jar包。此外,如果涉及到数据集成,可能还需要与Hive连接的...
在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,使得用户可以使用SQL语句来处理存储在Hadoop分布式文件系统(HDFS)上的大数据。...
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...