论坛首页 综合技术论坛

shell得到两个文件的差集

浏览 4239 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2014-09-23  

今天有个统计的需求,计算今天比昨天新增加的数据。有两个文件a和b,a是最新文件,b是昨天的文件,需要计算出在a中出现又没出现在b中的数据。

a和b都是这样的文件格式,只有一列id,且无序的

 

290758
290710
290688
290411
290409
290224
290223
290221
290194

 

有如下集中实现方式:

1、java,把b读到List中,遍历a中元素判断是否存在b的List中

 

List b = .....

while(r.ready()){
    String s = r.readline();
    if(b.contains(s)){
        .......
     }
}

 

 

2、python,类似java的做法,不赘述

 

3、SQL,导入到临时表里用SQL解决

 

from tablea as a, tableb as b where a.id <> b.id

 4、shell

 

grep -vxFf b a

  

把b作为规则,取a中不能匹配上b规则的记录。

下面这个最牛:

 

sort a b b | uniq -u

 解释一下:

 

a b 排序,两个的交集出现次就是2 了,a b b 再排序。b里面的次数,最少是2了,交集里面的是3

然后再uniq -u 取出现一次的,就是想要的结果了

 

   发表时间:2014-10-14  
sort a b b | uniq -u 

这个果然给力
0 请登录后投票
论坛首页 综合技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics