批量生产数据时,效率是关键.

昨天被安排了一个任务,要生成抚顺地区所有的联通和移动的手机号,最后要随机导出,每50W一个文本.

开发思路是先找到所有的抚顺号段,然后生成号段下所有的手机号,最后随机导出成文本.

看了一下我们的数据库,抚顺地区所有的号段一共有32个(可能不够,不过我们的数据库里就这么多,酬和用吧.不少了.),每个号段下有10000个号,最近就是3200000个手机号..

生成号码不是难事.关键是生成代码以后,从数据库中取出320W数据,然后要随机排列输出,尝试了各种办法以后终于还是失败,总是会内存溢出,要不然就是效率太低..

晚上回家突然想到一个办法,我何必要最后随机抽出数据呢?为什么不直接就做出随机的数据呢?让数据在数据库中随机保存,然后之后分页查询,每次查询50W保存文件就OK了啊...早上到单位一试验果然有效..

首先是生成随机数据的地方.随机数据并不是说手机号码随机生成,如果随机生成号码还有验证是否重复很麻烦,直接随机生成主键ID,然后保存呵呵,一切OK.

int index = 0;
		int number = 0;
		String numberStr = "";
		String part = "";
		
		String pattern = "0000 "; 
		DecimalFormat df = new DecimalFormat(pattern); 
		
		Connection connection = ormDao.jdbcTemplate.getConnection();
		connection.setAutoCommit(false);  
		String sql = "insert INTO t_phonexy (id,phone,part,number,prefix) values (?,?,?,?,?)";  
		PreparedStatement prest = connection.prepareStatement(sql, ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_READ_ONLY);
		
		//生成4000000万个ID.使用LinkedList提高插入效率
		List<Integer> ids = new LinkedList<Integer>();
		while(number < 4000000){
			ids.add(number);
			number++;
		}
		//对400W个ID随机打乱随机.
		Collections.shuffle(ids);
		//将LinkedList转换为数组,提高取数据的效率
		Integer[] idss = new Integer[400000];
		idss = ids.toArray(idss);
		//记录取数索引
		int idsIndex = 0;
		
		for(index = 0 ;index<parts.length;index++){
			part = parts[index];
			number = 0;
			while(number < 10000){
				numberStr = df.format(number);
				//虽然这里是顺序取出,但是之前已经打乱过顺序,所以ID自然也是乱序的.
				prest.setInt(1,idss[idsIndex]);
				idsIndex++;
				prest.setString(2,part+numberStr);
				prest.setString(3,part);
				prest.setString(4,numberStr);
				prest.setString(5,part.substring(0, 3));
				prest.addBatch();
				
				number++;
			}
			prest.executeBatch();  
			connection.commit(); 
		}

 数据库MySql5.0  表类型MyISAM.只有主键索引.  耗时 ：0时-9分-35秒

我又测试了一下,注释掉随机主键部分的代码,看看耗时是多少.耗时 ：0时-8分-46秒

只慢了不到一分钟,只慢了49秒而已~~

剩下的工作就简单多了,取出数据,生成文件.

Class.forName("com.mysql.jdbc.Driver");
		Connection connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/xbexam?characterEncoding=UTF-8", "root", "123123");
//		Connection connection = ormDao.jdbcTemplate.getConnection();
		Statement statement = connection.createStatement();
		ResultSet resultSet = statement.executeQuery(sql);
		System.out.println("=====数据库访问结束=======");
		List<String> list = new LinkedList<String>();
		while(resultSet.next()){
			list.add(resultSet.getString("phone"));
		}
int count = 0;
		int fileCount = 0;
		while(iterator.hasNext()){
			if(count > 500000){
				//写出文件
				File file = new File("d:/"+fileCount+".txt");
				fileCount++;
				file.createNewFile();
				FileWriter fileWriter = new FileWriter(file);
				fileWriter.write(buffer.toString());
				fileWriter.flush();
				fileWriter.close();
				
				count = 0;
				buffer = new StringBuffer();
			}
			buffer.append(iterator.next()+"\r\n");
			count++;
		}
		
		//写出文件
		File file = new File("d:/"+fileCount+".txt");
		fileCount++;
		file.createNewFile();
		FileWriter fileWriter = new FileWriter(file);
		fileWriter.write(buffer.toString());
		fileWriter.flush();
		fileWriter.close();

 

生成文件..耗时 ：0时0分-13秒...简直~~~简直~~

一切都搞定了..呵呵~~代码要留好,不一定什么时候还能用得上.