数据表每天五千四百万数据，，如何汇总

扩展一下楼主的方案二，使用多线程的异步更新的方式。

逻辑如下图：

线程汇总的逻辑伪代码如下：

	// 全局Map缓存，保存每条唯一数据对应的ID
	Map<String,Long> statIdMap = new ConcurrentHashMap<String, Long>();
	
	// 线程内Map，保存线程内统计结果
	Map<Long,BigDecimal> statMap = new HashMap<Long,BigDecimal>();
	// 线程内List， 保存回填数据的ID列表
	List<Object[]> idList = new ArrayList<Object[]>(5000);
	// 明细数据列表
	List<Object> dataList;
	public void run(){
		Long statId = null; 
		String key = null;
		BigDecimal money = null;
		for(int i=0,j=dataList.size();i<j;i++){
			// 根据字段值生成KEY
			//key = dataList.get(i).getA()+dataList.get(i).getB()+dataList.get(i).getC()+dataList.get(i).getD();
			// 先从缓存中查询是否ID存在
			statId = statIdMap.get(key);
			// 如果缓存中不存在，则表示是第一次出现，应该先插入一条记录到数据库
			if(statId == null){
				// 初始化到数据库，默认累计金额为0
				// getStatId()方法插入数据库使用  insert ignore into 防止多线程插入时覆盖已存在数据
				//statId = getStatId();
				// 重新保存到缓存中
				statIdMap.put(key, statId);
			}
			money = statMap.get(statId);
			// 累计金额
			if(money == null){
				//money = dataList.get(i).money;
			}else{
				//money.plus(dataList.get(i).money);
			}
			statMap.put(statId, money);
			// 记录回填ID
			//idList.add(new Object[]{dataList.get(i).id, statId});
		}
		
		// 加入到待更新队列
		// idListQueue.addAll(idList);
		// 把统计好的数据添加到更新队列
		// statIdStatQueue.add(statMap.entrySet().iterator().next());
		
		// idListQueue       数据结构  Queue<[明细ID，统计ID]>
		// statIdStatQueue   数据结构 Queue<[统计ID，金额]>
	}

代码逻辑主要有三点：1.数据分配、2.每个线程的统计逻辑、3.统计结果使用队列单线程异步批量更新到数据库。

需求来说：统计汇总还算正常逻辑，还要把统计后的id回填到明细中去就有点变态了。