算法问题

今天碰到了一个问题：

 

有两个文本文件，一个有二百万的数据，一个有一百万的数据，我怎样求两个文本文件数据的交集呢？

 

1：我的思路首先是这样的，那少的数据（一百万的数据）逐个跟二百万的数据相比，相等的拿出来，然后我写了个小程 序

     跑了三个多小时，才出来五百多个。显然不能这样搞。

 

然后我们老大想了个算法，我真的很佩服：

 

1：首先把这两个数据去重，linus命令如下：uniq one.txt >one_uniq.txt, uniq two.txt>two_uniq.txt.

2:  然后把one_uniq.txt,two_uniq.txt放到一起取重复的，命令如下： cat one_uniq.txt two_uniq.txt|sort|uniq  -d>result.txt

 

result.txt里的数据即为结果，一共花了不到五秒钟的时间，这就是差距啊。