`

对大数据的处理

 
阅读更多
package cn.jdbctest;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.Reader;
import java.io.Writer;
import java.sql.Clob;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class ClobTest {

	/**
	 * @param args
	 */
	Connection conn=null;
	PreparedStatement pstat=null;
	ResultSet rs=null;
	public static String driver="com.jdbc.mysql.Driver";
	public static String url="jdbc:mysql://localhost:3306/test";
	public static String user="root";
	public static String password="root";
	static{
		try {
			Class.forName(driver);
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
			throw new IncompatibleClassChangeError();
		}
	}

	public void testSql(){
		try {
			conn=DriverManager.getConnection(url, user, password);
			String sql="select * from usertable";
			pstat=conn.prepareStatement(sql);
			rs=pstat.executeQuery();
			while(rs.next()){
				Clob clob=rs.getClob(2);
				Reader reader=clob.getCharacterStream();
				File file = new File("text.java");
				Writer writer = new BufferedWriter(new FileWriter(file));
				char[] buff = new char[1024];
				for(int i=0;(i=reader.read(buff))>0;)
				{
					writer.write(buff,0,buff.length);
				}
				writer.close();
				reader.close();
			}
		} catch (SQLException e) {
			e.printStackTrace();
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}finally{
			try {
				rs.close();
				pstat.close();
				conn.close();
			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
	}
	
	public void test1(){
		try {
			conn=DriverManager.getConnection(url, user, password);
			String sql="insert into usertable(id,text) values(?,?)";
			pstat=conn.prepareStatement(sql);
			File file=new File("d:/log.ext");
			BufferedReader buffReader=new BufferedReader(new FileReader(file));
			pstat.setInt(1, 1);
			pstat.setClob(2, buffReader);
			pstat.executeUpdate();
		} catch (SQLException e) {
			e.printStackTrace();
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		}finally{
			try {
				pstat.close();
				conn.close();
			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
	}
}

在mysql中有个TEXT数据类型可以存储大数据,对大数据的处理要用到流的读写操作

分享到:
评论

相关推荐

    华为金融大数据解决方案

    4. 在数据处理技术方面,华为探讨了从Hadoop到Spark等技术的演进趋势,以及内存计算技术的兴起对大数据处理能力的增强作用。 总结而言,华为金融大数据解决方案是一套全面的、面向未来的金融业务数字化转型框架,它...

    在MATlAB中对大数据进行处理

    在MATlAB中对大数据进行处理+MATLAB中处理大数据的两种方法

    对大数据的透彻理解.zip

    在这个“对大数据的透彻理解”文档中,我们将深入探讨大数据的核心概念、特征、应用以及与其紧密相关的Java编程语言在大数据处理中的角色。 首先,大数据的四个基本特征,通常被概括为4V:Volume(大量)、Velocity...

    大数据架构-京东-从无到有

    例如,为了提升用户体验,京东需要实时分析用户的购物行为,预测消费趋势,这便催生了对大数据处理能力的需求。在设计阶段,需充分理解业务需求,定义数据模型,选择合适的技术栈,如Hadoop、Spark等,同时考虑到...

    大数据及其智能处理技术

    总之,大数据技术是当前信息技术领域的一个重要发展趋势,它不仅对技术领域本身产生了深远影响,也对社会经济的各个层面带来了变革。未来,随着大数据技术的不断完善和应用深化,它将在更多的领域发挥作用,创造更多...

    大数据文献综述.docx

    维基百科对大数据的定义则简单明了:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。大数据的定义还可以从三个维度来看:数据规模、数据类型和数据处理速度。 大数据来源 大数据...

    运营商大数据应用解决方案.doc

    随着互联网、物联网、移动通信等技术的发展,数据的产生速度和规模呈指数级增长,从而提出了对大数据处理能力的需求。大数据不仅仅是技术挑战,更涉及到数据的采集、存储、分析和利用等多个层面。 1.1 概述: ...

    南京大学《大数据》期末试卷题.pdf

    大数据作为现代信息技术领域的核心概念,涉及的数据量巨大、种类繁多、处理速度快以及价值密度低等特点,使得这一领域具有极高的研究与实践价值。以下是一些可能在试卷中出现的知识点: 1. 大数据定义:理解大数据...

    大数据-时代的产物(MD).pptx

    这种超大规模的数据增长催生了对大数据处理能力的需求。 多样性(Variety)意味着数据来源广泛且类型繁多,包括企业内部的交易信息、物联网的商品和物流信息,以及互联网上的人际交互和位置信息等。处理这些多样化...

    大数据技术原理与应用:概念、存储、处理、分析与应用 完整高清PDF

    综上所述,《大数据技术原理与应用》详细阐述了大数据的关键技术和应用场景,对于理解大数据的基本原理、提升大数据处理能力具有极高的指导价值。无论是初学者还是专业人士,都能从中受益匪浅,进一步推动大数据技术...

    图像处理图像处理,大数据分类

    图像处理,大数据分类图像处理,大数据分类

    浅谈对大数据的理解.pdf

    大数据,作为一种现代信息技术的核心组成部分,已经渗透到各个行业和领域,极大地改变了我们处理信息的方式。大数据的特点主要体现在其4V特性:容量(Volume)、种类(Variety)、速度(Velocity)和价值(Value)。...

    大数据的处理方法

    大数据海量数据的处理方法总结,海量数据处理方法的性能比较,大数据面试题集

    2017宁波市专技人员继续教育公需科目大数据生活方式和社会治理.doc

    摩尔定律于1965年提出,预测了计算机处理能力每18到24个月翻一番,这对大数据处理能力的提升起到了关键作用。而数据挖掘则起源于1993年,是大数据分析的重要技术手段,帮助我们从海量数据中提取有价值的信息。 涂子...

    大数据产业园可行性实施实施计划书模板.doc

    大数据产业园的出现,源于全球信息化进程加速,特别是云计算、物联网等技术的发展,使得数据量爆炸式增长,对大数据处理能力的需求日益迫切。 二、大数据产业园必要性及可行性分析 1. 大数据产业园的必要性 (1) ...

    深入理解大数据大数据处理与编程实践+完整版.pdf

    综上所述,该文件内容应是一本全面介绍大数据处理技术和编程实践的书籍,特别强调了Hadoop、HBase和Hive等大数据相关技术的运用,同时也可能包含对运维知识的介绍,以帮助读者更好地理解和实践大数据技术。

    深入理解大数据--大数据并行处理与编程实践

    《深入理解大数据:大数据处理与编程实践》在总结多年来MapReduce并行处理技术课程教学经验和成果的基础上,与业界著名企业Intel公司的大数据技术...这是本书很多实例的源代码 对很多进行大数据学习的朋友们会很有帮助

    大数据技术概论_大数据技术之大数据概论.pdf

    大数据技术概论主要探讨的是如何处理和利用海量、高速增长且多样化的信息资产。大数据的四个核心特点,即Volume(大量)、Velocity(高速)、Variety(多样)和Value(低价值密度),构成了大数据的基本框架。 1. ...

    大数据测试类型&大数据测试步骤

    在大数据测试中,QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快,所以它需要高水平的测试技能。处理可以是三种类型:批量、实时、交互。与此同时,数据质量也是大数据测试的一个重要因素。...

Global site tag (gtag.js) - Google Analytics