`

JDBC bash批处理数据

    博客分类:
  • java
阅读更多

这篇文章来自http://asialee.iteye.com/blog/949250,感谢知识共享的人

检测数据库是否支持batch

   DatabaseMetaData.supportsBatchUpdates()

 

   然后就是三个比较有用的方法:

 

   addBatch: 将Statement, PreparedStatement, and CallableStatement添加进batch里面

   

   executeBatch: 返回各个语句的执行结果

   

   clearBatch: 将batch里面的sql语句清除掉

 

   在这个里面有一个值得注意的是要设置connection的事务提交类型

 

   setAutoCommit(false)为手动提交

 // Create statement object
	Statement stmt = conn.createStatement();

	// Set auto-commit to false
	conn.setAutoCommit(false);

	// Create SQL statement
	String SQL = "INSERT INTO Employees (id, first, last, age) " +
				 "VALUES(200,'Zia', 'Ali', 30)";
	// Add above SQL statement in the batch.
	stmt.addBatch(SQL);

	// Create one more SQL statement
	String SQL = "INSERT INTO Employees (id, first, last, age) " +
				 "VALUES(201,'Raj', 'Kumar', 35)";
	// Add above SQL statement in the batch.
	stmt.addBatch(SQL);

	// Create one more SQL statement
	String SQL = "UPDATE Employees SET age = 35 " +
				 "WHERE id = 100";
	// Add above SQL statement in the batch.
	stmt.addBatch(SQL);

	// Create an int[] to hold returned values
	int[] count = stmt.executeBatch();

	//Explicitly commit statements to apply changes
	conn.commit();

 

分享到:
评论

相关推荐

    Elasticsearch-jdbc数据同步配置.zip_elastic-jdbc_elasticsearch_elastics

    **Elasticsearch-jdbc数据同步配置** 在大数据分析和搜索引擎领域,Elasticsearch因其高效、可扩展和实时的搜索能力而被广泛应用。然而,数据往往存储在关系型数据库如MySQL中,为了实现数据的实时或者定期同步到...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha

    Sqoop 提供了高效、可靠的批处理数据导入导出功能,使得用户能够方便地将结构化数据从传统的数据库系统传输到Hadoop的HDFS(Hadoop Distributed File System),或者反向将数据从HDFS导入到数据库。 标题 "sqoop-...

    Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}.docx

    4. **批处理**: Sqoop 的数据传输是基于批处理的方式,适合处理大规模数据。 ### Sqoop 安装配置 在安装 Sqoop 之前,确保已安装 Java 和 Hadoop 环境。以下是安装步骤: 1. **下载 Sqoop**:可以从官方网站 ...

    mysql-connector-java-8.0.13.jar

    这样,Hive可以通过JDBC驱动连接到MySQL来存储表元数据和其他配置信息。 2. Sqoop集成:Sqoop是一个用于在Hadoop和关系数据库之间转移数据的工具。在使用Sqoop导出或导入数据到/从MySQL时,需要指定MySQL的JDBC驱动...

    apache-hive-2.3.9,linux安装包

    记住,Hive的主要功能是数据仓库和大数据分析,它不支持实时查询,更适合离线批处理场景。在实际操作中,你可能还需要配置Hadoop的HDFS、YARN等组件,以及优化Hive的性能设置,如分区策略、桶表、压缩编码等,以适应...

    sqoop-1.4.6.tar.gz

    4. **批处理**:支持批处理导入导出,用户可以指定特定的 SQL 查询来抽取部分数据,提高效率。 5. **性能优化**:通过并行传输、压缩和多线程等技术,Sqoop 能够有效地利用网络带宽和 Hadoop 集群资源,加快数据...

    sql_lib.zip

    在大数据处理领域,Apache Flink 是一款强大的流处理和批处理框架,而Flink SQL是其提供的用于数据处理的一种高级接口,它使得开发者能够用SQL这样的声明性语言来操作数据流。`sql_lib.zip`这个压缩包正是为Flink ...

    hive开发资料.docx

    在上述配置中,我们使用了Apache Derby作为元数据存储,通过JDBC连接。 2. **Hive CLI**:Hive命令行接口,用户可以通过它来交互式地执行HQL(Hive Query Language)。 3. **HQL**:Hive查询语言,类似于SQL,使得...

    spark-2.4.5.tgz

    2. 流处理:Spark Streaming 支持实时流处理,通过微批处理实现低延迟的数据处理,可以与其他 Spark 模块无缝集成。 3. 图计算:GraphX 提供了一个用于图计算的 API,适合处理社交网络、推荐系统等复杂数据结构。 ...

    3、Sqoop导出(HDFS到RMDB-mysql)

    1. **分批处理**:使用`--batch`选项,让Sqoop以批处理的方式执行`INSERT`语句,减少网络通信次数。 2. **压缩输出**:通过`--compress`和`--compression-codec`参数启用输出压缩,减小数据传输量。 3. **并行导出...

    第4章 Hive参数配置与函数、运算符使用1

    它主要用于交互式或批处理模式的Hive查询执行,并且能够访问Hive元数据存储服务,而不是hiveserver2服务。以下是一些重要参数: - `-e <quoted-query-string>`:执行命令行后面指定的SQL语句,执行完毕后退出。 - ...

    hive1.2.1安装包及安装配置文档.rar

    它支持多种数据查询方式,包括批处理、交互式查询和实时查询。此版本相较于早期版本,可能包含了一些性能优化和bug修复,使得在大数据处理场景下更加可靠和高效。 二、安装Hive 1.2.1 1. **系统需求**:确保你的...

    Oracle手记-20220304175244-ofd7ayg.pdf

    本文将详细讲解如何在Linux环境下安装Oracle,以及如何配置Oracle透明网关连接SQL Server,同时还会探讨大量数据批处理的方法、UTL_FILE.FOPEN的使用,以及Oracle日志分析工具LogMiner的使用。 首先,我们来看...

    ApacheHive安装详解及相关问题解决方案.docx

    - **1.x 版本**:主要运行在 MapReduce 上面,适合于传统的批处理作业。 - **2.x 版本**:主要运行在 Spark 上面,适合于更快速的数据处理需求。 #### 二、Hive 的安装与配置 ##### 2.1 下载Hive 首先需要从 ...

    Tomcat mysql 环境一键 配置

    为了实现“一键配置”,这通常涉及到自动化脚本,如bash脚本(Linux/Mac)或批处理脚本(Windows)。这些脚本会自动执行上述步骤,包括下载、解压、安装、配置以及启动服务。在编写这类脚本时,需要注意权限问题,...

    H2 数据库导入CSV文件实现原理简析

    4. **性能优化**:对于大量数据,可以考虑使用批处理或分块导入以提高性能。 总之,H2数据库提供了一种简单有效的方式来导入CSV文件,这对于开发人员在测试、数据分析或数据迁移场景下尤其有用。理解这些操作原理和...

    使用shell脚本执行hive、sqoop命令的方法

    在大数据处理中,Shell脚本被广泛应用于批处理任务的调度、数据处理任务的执行等方面。 #### Hive命令介绍 Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询...

    jar打包,jar打包

    3. **通过外部脚本调用不同的主类**:编写一个批处理文件或Shell脚本来根据需要选择性地调用不同的主类。 #### 五、解决跨平台问题 在不同操作系统之间部署Java应用程序时,可能会遇到路径名不一致的问题。为了...

Global site tag (gtag.js) - Google Analytics