9个答案 按时间排序 按投票排序

0 0

select * into c from a;
alter table c add isB1 char default '0';
alter table c add isB2 char;
update c set isB1='1' where A1 in (select B1 from b);

2011年5月17日 14:27

dyccsxg
580
0 0 3

• 添加评论

0 0

这是一个子类的实现：

package com.autonavi.po;

import com.autonavi.batch.LayerBatchSetter;
import com.autonavi.template.MoveTemplate;

/**
 * xx功能Action类
 * @Title:
 * @author shuo.cao
 * @Company: Autonavi
 * @date: 2011-5-16 上午11:02:06
 */
public class Layer extends MoveTemplate<LayerBatchSetter> {

	@Override
	public void setCountSql() {
		this.countSql = "select count(0) from EP_POILAYERS" ;
	}

	@Override
	public void setInsertSql() {
		this.insertSql = "insert into T_LAYERS (" +
				"ID,LAYER_NAME,LAYER_DESC,USE_STATUS,CTDATE,PROPERTY,IS_OPEN_FOR_UP,IS_OPEN_FOR_DOWN," +
				"IS_SHARED,USAGE_FLAG,IS_SHOW,IS_LOAD,LAYER_LEVEL" +
				") values(?,?,?,?,to_date(?,'yyyy-MM-dd HH24:mi:ss'),?,?,?,?,?,?,?,?)" ;
		
	}

	@Override
	protected void setSelectSql() {
		//构造查询语句
		StringBuilder sql = new StringBuilder() ;
		sql.append("select * from (") ;
		sql.append("select rownum r, p.* from EP_POILAYERS p where rownum <= ") ;
		sql.append(MoveTemplate.END_ROW_NUM + " ") ;
		sql.append("order by EPLYRID asc) ") ;
		sql.append("where r > ") ;
		sql.append(MoveTemplate.START_ROW_NUM) ;
		
		this.selectSql = sql.toString() ;
	}

}

还有另外的那个setter类：

package com.autonavi.batch;

import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.List;
import java.util.Map;

import org.springframework.jdbc.core.BatchPreparedStatementSetter;

import com.autonavi.util.StringUtil;

/**
 * xx功能Action类
 * @Title:
 * @author shuo.cao
 * @Company: Autonavi
 * @date: 2011-5-16 上午11:05:01
 */
public class LayerBatchSetter implements BatchPreparedStatementSetter {
	
	private List<Map<String, Object>> list = null;
	
	public LayerBatchSetter(List<Map<String, Object>> list){
		this.list = list ;
	}

	public int getBatchSize() {
		return list.size();
	}

	public void setValues(PreparedStatement pstmt, int i) throws SQLException {
		
		Map<String, Object> obj = list.get(i) ;
		
		pstmt.setString(1, obj.get("EPLYRID")+"");
		pstmt.setString(2, obj.get("LAYERNAME")+"");
		pstmt.setString(3, obj.get("LAYERNAME")+"");
		pstmt.setInt(4, 0);//用户状态
		pstmt.setString(5, StringUtil.ObjSubString(obj.get("CTDATE"),0,19));
		pstmt.setString(6, "");//图层属性
		pstmt.setInt(7, 1);//向上开放
		pstmt.setInt(8, 1);//IS_OPEN_FOR_DOWN
		pstmt.setInt(9, 1);//IS_SHARED
		pstmt.setInt(10, 1);//USAGE_FLAG
		pstmt.setInt(11, 1);//IS_SHOW
		pstmt.setInt(12, 1);//IS_LOAD
		pstmt.setInt(13, 1);//LAYER_LEVEL

	}

}

2011年5月16日 15:41

fucktianya
4
0 0 2

• 添加评论

0 0

介绍下我的解决办法：

package com.autonavi.template;

import java.lang.reflect.Constructor;
import java.lang.reflect.InvocationTargetException;
import java.lang.reflect.ParameterizedType;
import java.lang.reflect.Type;
import java.sql.Connection;
import java.sql.SQLException;
import java.util.List;
import java.util.Map;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.springframework.jdbc.core.BatchPreparedStatementSetter;
import org.springframework.jdbc.core.JdbcTemplate;

/**
 * 数据迁移功能抽象类
 * @Title:
 * @author shuo.cao
 * @Company: Autonavi
 * @date: 2011-5-12 下午05:49:43
 */
public abstract class MoveTemplate <T extends BatchPreparedStatementSetter>{
	
	protected static Log log = LogFactory.getLog(MoveTemplate.class) ;
	
	public static final String START_ROW_NUM = ":startRowNum" ;
	public static final String END_ROW_NUM = ":endRowNum" ;
	
	protected int batchSize = 30000 ;

	protected String countSql ;

	protected String insertSql ;
	
	protected String selectSql ;
	
	private void init(){
		this.setCountSql() ;
		this.setSelectSql() ;
		this.setInsertSql() ;
	}

	@SuppressWarnings("unchecked")
	public void move(JdbcTemplate from, JdbcTemplate to){
		
		Connection toc = null ;
		
		try{
			//初始化各参数
			this.init() ;
			
			toc = to.getDataSource().getConnection() ;
			
			//1、统计一共多少数据
			int countNum = from.queryForInt(this.getCountSql()) ;
			
			log.info("操作语句："+this.getCountSql()) ;
			log.info("结果集总数为："+countNum + " 条") ;
			
			int l = (countNum + this.getBatchSize() - 1) / this.getBatchSize() ;
			
			toc.setAutoCommit(false) ;
			
			for(int i=0; i<l; i++){
				
				int startRowNum = i * this.getBatchSize() ;
				int endRowNum = (i+1) * this.getBatchSize() ;
				if(i == l-1){
					endRowNum = countNum ;
				}
				
				//将变量转换为常量
				this.replaceVariable(startRowNum, endRowNum) ;
				
				List<Map<String, Object>> list = from.queryForList(this.getSelectSql()) ;
				
				log.info("第["+(i+1)+"]次获得结果集记录数："+list.size() + " 条");
				
				int[] ns = to.batchUpdate(this.getInsertSql(), this.newBatchPreparedStatementSetter(list)) ;
				
				log.info("第["+(i+1)+"]次batch记录数："+ns.length + " 条");
				
				toc.commit() ;
				
				log.info("第["+(i+1)+"]次插入数据为：" + (startRowNum+1) + "--"+endRowNum);
				
				//将常量换回变量，以便下一次循环使用
				this.replaceConstant(startRowNum, endRowNum) ;
				
				if(list.size() > 10000){
					
					Thread.sleep(5000) ;
				}
				
				log.info("第["+(i+1)+"]次循环结束！\n");
			}
			
			toc.setAutoCommit(true) ;
			
		}catch (Exception e) {
			
			//e.printStackTrace();
			log.info("【ERROR】数据迁移失败！原因如下：\n"+e.getMessage()) ;
			
			if(toc != null){
				try {
					toc.rollback() ;
				} catch (SQLException e1) {
					log.info("【ERROR】connection.rollback()失败！");
					e1.printStackTrace();
				}
			}
			
		} finally{
			if(toc != null){
				try {
					toc.close() ;
				} catch (SQLException e) {
					log.info("【ERROR】connection.close()失败！\n"+e.getMessage());
					e.printStackTrace();
				}
			}
		}
	}

	/**
	 * 生成batchSetter对象
	 * @param list
	 * @return
	 * @throws SecurityException
	 * @throws NoSuchMethodException
	 * @throws IllegalArgumentException
	 * @throws InstantiationException
	 * @throws IllegalAccessException
	 * @throws InvocationTargetException
	 */
	@SuppressWarnings("unchecked")
	private final BatchPreparedStatementSetter newBatchPreparedStatementSetter(List<Map<String, Object>> list) throws SecurityException, NoSuchMethodException, IllegalArgumentException, InstantiationException, IllegalAccessException, InvocationTargetException{
		
		BatchPreparedStatementSetter setter = null ;
		Type t = this.getClass().getGenericSuperclass() ;
		
		if(t instanceof ParameterizedType){
			Type[] types = ((ParameterizedType)t).getActualTypeArguments() ;
			
			Constructor<T> constructor = ((Class<T>) types[0]).getConstructor(List.class) ;
			setter = constructor.newInstance(list) ;
		}
		
		return setter ;
	}

	/**
	 * 将变量替换为常量(即startRowNum和endRowNum的值)
	 * @param startRowNum
	 * @param endRowNum
	 * @return 替换后的查询语句
	 */
	private void replaceVariable(int startRowNum, int endRowNum){
		this.selectSql = this.getSelectSql().replace(MoveTemplate.START_ROW_NUM, startRowNum+"").replace(MoveTemplate.END_ROW_NUM, endRowNum+"");
	}
	
	private void replaceConstant(int startRowNum, int endRowNum){
		this.selectSql = this.getSelectSql().replace(endRowNum+"", MoveTemplate.END_ROW_NUM).replace(startRowNum+"", MoveTemplate.START_ROW_NUM) ;
	}
	
	/**
	 * scope is 1-30000
	 * @param batchSize
	 */
	protected final void setBatchSize(int batchSize) {
		if(batchSize > 0 && batchSize < 30001){
			this.batchSize = batchSize;
		}		
	}

	public abstract void setCountSql() ;
	/**
	 * 查询语句（下面是例子）
	 *	StringBuilder sql = new StringBuilder() ;
	 *	sql.append("select ID, X, Y, SPEED, HEIGHT, INPUTDATE, STATE from (") ;
	 *	sql.append("select rownum r, ID, X, Y, SPEED, HEIGHT, INPUTDATE, STATE from EP_LOCRECORD where rownum <= ") ;
	 *  sql.append(MoveData.END_ROW_NUM + " ") ;
	 *	sql.append("order by ID asc) ") ;
	 *	sql.append("where r > ") ;
	 *	sql.append(MoveData.START_ROW_NUM) ;
	 * @param selectSql
	 */
	protected abstract void setSelectSql() ;
	/**
	 * insert语句要和select语句对应
	 * @param insertSql
	 */
	public abstract void setInsertSql() ;
	
	protected int getBatchSize() {
		return batchSize;
	}
	
	private String getCountSql() {
		return countSql;
	}
	
	private String getInsertSql() {
		return insertSql;
	}
	
	private String getSelectSql() {
		return selectSql;
	}
	
}

2011年5月16日 15:38

fucktianya
4
0 0 2

• 添加评论

0 0

楼主，如果2000万数据insert到另一个表里面，日志空间的管理十分重要，你所说的“ 当执行到第10万条左右时，效率非常低... ”很有可能是因为日志空间不足或是表的锁机制不合理造成的。
有两个办法解决这个效率问题：
1:将C表上的index全部drop掉再做insert，完成insert后重建index.
2:使用sql server的bcp工具.
我个人推荐使用bcp工具,速度快，且不写日志空间.

2011年5月10日 11:27

shufudong
2
0 0 2

• 添加评论

0 0

引用

insert into c select * from a SQL语句可以这样写吗？

可以，但是列名必须得匹配。

2011年5月09日 11:01

iihero
959
0 0 0

• 添加评论

0 0

insert into c select * from a SQL语句可以这样写吗？

2011年5月09日 09:54

songhuidanoop
38
0 0 0

• 添加评论

0 0

isB2是什么意思，是说在a1=B1同时a2=b2吗？还是说B表存在一行b2的值等于a2?

如果只是判断a1在B表中的存在性还好说，同时加上a2的存在性，那效率确实很难提高。

先说说只判断a1的存在性的解决：

事先建好c表, 不带索引和主键

insert into c select a.a1,a.a2,a.a3, 1, 0 from A a where a.a1 in (select b1 from B)

insert into c select a.a1,a.a2,a.a3, 0, 0 from A a where a.a1 not in (select b1 from B)

至于isB2字段的值, 你得通过程序来更新了。

2011年5月09日 09:32

iihero
959
0 0 0

• 添加评论

0 0

insert into c select * from a;--先复制A表.
alter table c add isb1 smallint,isb2 smallint;---添加两个新加的字段.
create index on c(a1)--a1创建索引...a1=B的主键,选择性是否好?(重复的数据是否多).
循环b表数据,根据相应的条件更新isb1,isb2列.(cursor循环).
cursor is select b1,b2 from b
--loop

2011年5月08日 22:32

orzzzzz
295
0 0 0

• 添加评论

0 0

1.分批添加，每批差不多10万条
2.把索引，约束都先停用，等都复制完了再添加上去

2011年5月08日 22:25

suziwen
3226
0 0 13

• 添加评论