一种表格数据比对的方法

     假设有连个库，一个是生产库，一个是备份库，在一个特定的时间定，比较备份库与生产库的数据是否一致，用Java实现怎么样做效率比较高？

     在单进程的情况下，原来做过这样的设计：利用conCurrentHashMap来实现比对。

 

    一个线程负责从A库抽取数据，每行数据构造成一个Hash对，Key采用：主键+列相加的Hashcode，value采用key来做，线程B负责从B库抽取数据，每行数据构造成一个Hash对，Key采用：主键+列相加的Hashcode，value采用key来做，同时，B线程抽取出来的数据首先与HashMap A中的数据进行比对，假如在A容器中存在，说明这条记录两个库中相同，那么A的Map中可以remove 这条记录，B可以直接丢弃这条记录，不要放在conCurrentHashMap B中；假如在A中不存在，那么A则数据不变保留，B则放入自己的HashMap B中，为了减少数据在Hash容器中的堆叠量，可以设置线程的优先级A为最高，也可以让B延迟启动。

  

	key = builderKey.toString() + builderColumn.toString().hashCode();
				if (Main.hashMapA1.get(key) != null) {
					// System.out.println("removeA1:" + key);
					Main.hashMapA1.remove(key);
				} else {
					// System.out.println("B1:" + key);
					Main.hashMapTempB.put(key, builderKey.toString());
				}

 

    当A从表格中把数据抽取完成后，B可能还没有完成，那么需要等待两个线程都处理完成之后，才能进行下一轮操作

  

     由于受环境的限制，两边的数据存放的顺序和取出来的速度不一定就按预想的那样执行，所以，当两个线程都抽取完成后，还需要对两个Map进行一次比对，相同的则Remove，不同的保留。

 

     比对结束后，这个时候Map A里面存的是B里面没有的， Map B里面存的是A里面没有的，当时最好的测试结果是240万条每分钟。

 

     注意在抽取过程中setFetchSize的设置，这个值默认好像是10条，设置的越大，executeQuery的时间就越长。