这不是面试题，这是真事

BitSet代替set

这个思路就很好了，不过可以做以下改进（其实这个方案已经很简单了，毕竟是50G的文件，不知道还要多简单 ）：
1、直接内存映射文件读取整个大文件进行取模运算。
2、结果也不用重新写到新文件中，写文件是最耗时的，直接在内存里计算就可以了。
3、分多趟扫描文件取模，比如第一趟处理模数为1的整数，第二趟处理模数为2的整数。

，，先说问题，，
第一，需求不是很明确。

   我的建议;
           1,合理使用多线程，组织好线程之间工作协调问题。
           2,既然只需要获得重复，那么建议。使用最原始和直接，简单的技术。

用线程池+同步队列，算法就是拆分文件。。。队列就是保存待处理的文件及其状态大小。。。有两类线程，一类是拆分文件（就是根据数字来分，比如可以分100个文件，根据数字字符串前两位，如果文件还是挺大，可以继续分，提取数字字符串并保存到文件），一类是获取大小合适并已经拆分好的文件，然后统计出现次数大于等于二的并保存结果（可以保存到文件，并在在结果集中标明文件名，方便以后整合）。。。最后，任务都处理完的时候，就可以把结果集整合到一个文件中。。。线程池可以控制拆分和整合的线程数量。。。
我自己实现了一下，大概差不多40分钟左右吧。。。现在主要是在内存这块，我监测我的jvm用的内存在1g以下，64位cpu，双核。

试试用位图数据结构试试呢

因为io占用时间比较多，可以批量读取，批量写入。

你可以试一下bloomfilter这个
在添加之前先判断是否存在，如果存在就是>=2次了

当然bloomfilter有错误率，如果你不允许错误率的话，就不要使用了

shell没试过，hehuabing的方式肯定是可行的，这个是最方便的办法了，效率也非常高，相信可以超过shell。
看看编程珠玑吧

对于第二列是整数的情况，可以使用位图。
每读一行数据就使用位图进行判断，超过出现2次就将此行写到另一个文件中。
读取文件时可以使用fileChannel等高级读取工具，避免将文件一次读到内存里。

就是它的那列整数有15位呢，都超过long最多值了 这个比较蛋疼啊 要用几个数组来切分