这不是面试题，这是真事

我有一个文件，一共100列，每个列以 tab 分开，第二列是一个 15位 的整数（此列是乱序的）
文件行数在2亿行之内，文件很大，大约50G左右。现在要求我找出 满足这中条件的行：第二列的整数，在此文件中，出现过2次或2次以上

有啥好办法嘛？
我现在这么搞的：将文件尽量分成小文件（保证同样的数字分到同一个小文件中），使得此文件可以整个load到内存中。然后对内存中的数据使用set看是否曾经重复出现过
根据最后一位的值（0, 1, ..., 9），分成10个child文件。如果某个child文件还大于512M（我JVM内存比512大一点点，可以load整个文件），在根据第二位再分割此child文件，得到 grandchild文件；如果grandchild文件还是大于512M，则根据第三位分割......


缺点：太耗时，以至于不限时，要1个多小时

PS：我将 JVM 最大heap设为 1024M，然后，测试将Long加入到set中，发现，可以创建 1700W个Long对象（Integer对象也是这么多）。到production环境中，我估计heap可以设置到8G，但是，即使这样，也只有1.6亿的Long（或者Integer），所以，肯定还是不能够读入所有的 整数，然后使用set判断哪个曾经出现过2次或2次以上

各位，有好办法嘛？