`
HogwartsRow
  • 浏览: 59461 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

Hive工具类

阅读更多
public class HiveUtil {

    private static Logger logger = LoggerFactory.getLogger(HiveUtil.class);

    private static BasicDataSource basicDataSource = null;
    
    private static String HIVE_DRIVER = null;
    private static String HIVE_URL = null;
    
    static {
        HIVE_DRIVER = ConfigProperties.getInstance().getValue("hive.driver");
        HIVE_URL = ConfigProperties.getInstance().getValue("hive.url");
        
        //创建数据源对象
        if (basicDataSource == null) {
            basicDataSource = new BasicDataSource();
            //设置连接数据库的驱动
            basicDataSource.setDriverClassName(HIVE_DRIVER);
            //设置连接数据库的url
            basicDataSource.setUrl(HIVE_URL);
            //设置连接数据库的用户名
            basicDataSource.setUsername("root");
            //设置连接数据库的密码
            basicDataSource.setPassword("");
            //设置连接池启动时的初始值
            basicDataSource.setInitialSize(5);
            //设置连接池的最大值
            basicDataSource.setMaxActive(256);
            //最大空闲值.当经过一个高峰时间后,连接池可以慢慢将用不到的连接慢慢释放一部分,一直减少到maxIdle为止
            basicDataSource.setMaxIdle(20);
            //最小空闲值.当空闲的连接数少于该值时,连接池就会预申请一些连接,以避免洪峰来时再申请而造成的性能开销
            basicDataSource.setMinIdle(5);
        }
    }

    public static Connection getConnection() throws SQLException {
        return basicDataSource.getConnection();
    }

    public static Statement getStatement(Connection connection) throws SQLException {
        return connection.createStatement();
    }

    public static PreparedStatement getPreparedStatement(Connection connection, String sql) throws SQLException {
        return connection.prepareStatement(sql);
    }

    public static void switchDB(Connection connection, String database) throws SQLException {
        Statement statement = getStatement(connection);
        if (StringUtils.isNotEmpty(database)) {
            statement.execute("use " + database);
        }

    }

    public static void createTable(Connection connection, String database, String tableName, String sql) throws SQLException {
        Statement statement = getStatement(connection);
        if (StringUtils.isNotEmpty(tableName)) {
            statement.execute("drop table if exists " + tableName);
            statement.execute(sql);
        }
        close(statement);
    }

    public static void listTables(Connection connection, String database) throws SQLException {
        Statement statement = getStatement(connection);
        ResultSet resultSet = statement.executeQuery("show tables");
        while (resultSet.next()) {
            logger.info(resultSet.getString("tab_name"));
        }
        close(resultSet);
        close(statement);
    }

    public static void listTableStructure(Connection connection, String database, String tableName) throws SQLException {
        Statement statement = getStatement(connection);
        ResultSet resultSet = statement.executeQuery("describe " + tableName);
        while (resultSet.next()) {
            logger.info(resultSet.getString("col_name") + " | " + resultSet.getString("data_type") + " | "
                    + resultSet.getString("comment"));
        }
        close(resultSet);
    }

    public static void dropTable(Connection connection, String database, String tableName) throws SQLException {
        Statement statement = getStatement(connection);
        if (StringUtils.isNotEmpty(tableName)) {
            statement.execute("drop table if exists " + tableName);
        }
        close(statement);
    }

    public static void execute(Connection connection, String sql, Boolean isPrepared) throws SQLException {
        if (isPrepared) {
            PreparedStatement preparedStatement = getPreparedStatement(connection, sql);
            ResultSet resultSet = preparedStatement.executeQuery();
            close(resultSet);
            close(preparedStatement);
        } else {
            Statement statement = getStatement(connection);
            statement.execute(sql);
            close(statement);
        }
    }

    public static ResultSet list(Connection connection, PreparedStatement preparedStatement, Object[] objs) throws SQLException {
        if (ArrayUtils.isNotEmpty(objs)) {
            for (int i = 0; i < objs.length; i++) {
                preparedStatement.setObject(i, objs[i]);
            }
        }
        return preparedStatement.executeQuery();
    }

    public static void close(Connection connection) throws SQLException {
        if (connection != null) {
            connection.close();
            connection = null;
        }
    }

    public static void close(Statement statement) throws SQLException {
        if (statement != null) {
            statement.close();
            statement = null;
        }

    }

    public static void close(PreparedStatement preparedStatement) {
        if (preparedStatement != null) {
            try {
                preparedStatement.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
            preparedStatement = null;
        }
    }

    public static void close(ResultSet resultSet) {
        if (resultSet != null) {
            try {
                resultSet.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
            resultSet = null;
        }

    }

}

 

0
1
分享到:
评论

相关推荐

    jdbc连接hive工具类

    使用jdbc连接hive 里面提供了很多封装方法 .....................................................................

    写ORC 格式文件,HIVE 工具类

    写ORC 格式文件的工具类,可以用于写hive orc 的格式,

    Hive编程指南

    hive权威指南

    hive parser工具类

    在这个场景下,我们关注的是一个名为"Hive ParseUtils工具类",它专门服务于Hive SQL的解析工作。 Hive ParseUtils工具类主要负责接收SQL查询语句,并对其进行解析。它的一个显著特性是能够处理包含多段SQL的情况,...

    java访问hive数据库所需全部jar包

    - `hive-common`: Hive的通用库,包含元数据操作、配置和工具类。 - `slf4j`: 日志框架,Hive和其他库可能依赖它进行日志记录。 - `protobuf`: Google的协议缓冲区库,用于数据序列化,Hive可能用它来传递元数据...

    SpringBoot整合hive-jdbc示例

    在大数据处理领域,Hadoop生态中的Hive作为一个数据仓库工具,常常用于处理大规模的数据分析任务。而SpringBoot作为Java开发中的微服务框架,以其简洁的配置和快速的开发能力深受开发者喜爱。将SpringBoot与Hive-...

    hive-0.13.1-bin

    Hive是Hadoop项目中的一个子项目,由FaceBook向Apache基金会贡献,其中TaoBao也是其中一位使用者+贡献者,Hive被视为一个仓库工具,可以将结构化的数据文件映射为一张数据库表,并可以将sql语句转换为MapReduce任务...

    hive执行计划可视化工具

    在大数据处理领域,Hive是一款广泛使用的开源数据仓库系统,它允许用户使用SQL(HQL,Hive Query Language)查询...通过熟练掌握这类工具,用户可以更有效地管理和优化他们的Hive工作负载,确保大数据平台的高效运行。

    hive远程连接工具和jar.zip

    在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL类查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大规模数据集。本压缩包“hive远程连接工具和jar.zip”包含了用于...

    基于Java的DMPSystem内容识别系统.zip

    基于Java的DMPSystem内容识别系统 概述 DMPSystem是一个用于内容识别和数据处理的系统,主要功能包括... 工具类Apache Commons Codec, Log4j, UserAgentUtils 项目结构 cicommon公共工具类和常量定义。 ciidentif

    数据库工具连接hive的驱动包

    Hive JDBC驱动包含了一系列类和方法,允许应用程序建立到Hive Server的连接,执行SQL查询,并获取结果。 安装Hive JDBC驱动通常涉及以下几个步骤: 1. **下载驱动**:你需要从官方网站或者可靠的第三方源下载适用...

    pyhs2-0.2.tar.gz

    《Python连接Hive工具类——PyHS2 0.2详解》 在大数据处理领域,Hive作为一个基于Hadoop的数据仓库工具,因其易用性和高效性而被广泛应用。然而,对于开发人员来说,如何在Python环境中与Hive进行交互呢?这时,...

    Hive驱动1.1.0.zip

    1. **hive-exec.jar**:包含Hive执行引擎的核心类,用于执行HQL查询。 2. **hive-jdbc.jar**:提供Hive的JDBC驱动,使你能通过JDBC接口连接到Hive服务器。 3. **libthrift.jar**:Thrift库,Hive使用的RPC框架,用于...

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    在大数据处理领域,Apache Hive是一个基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)查询存储在Hadoop集群中的大型数据集。Hive JDBC(Java Database Connectivity)是Hive提供的一种...

    hive所有jar文件

    总结一下,这个压缩包提供了Hive与HBase集成的关键组件,包括Hive-HBase连接器的JAR文件,用户需要将其部署到Hive的类路径下,替换掉可能存在的旧版本。这使得Hive可以方便地读写HBase数据,扩展了Hive的功能,同时...

    hive相关jar包

    使用这些jar包时,开发者通常会将它们添加到项目的类路径中,或者在运行Hive命令时通过`-libjars`选项指定。在Hive on Spark模式下,还需要包含Spark的相关jar包。此外,如果涉及到数据集成,可能还需要与Hive连接的...

    连接hive依赖的jar包_hive连接方式

    在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,使得用户可以使用SQL语句来处理存储在Hadoop分布式文件系统(HDFS)上的大数据。...

    Hive新手学习资料之Hive入门与实战.+Hive用户手册+hive函数大全中文版资源合集

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...

Global site tag (gtag.js) - Google Analytics