面试遇到大数据量的问题到底在考什么？

基本上考的是
数据结构和算法，而已有一定的技巧性。
推荐看一本《编程珠玑》
通过你的描述.
如果你的机器上int 为32位的话。

int max ,int min
先按无符号的数据来算吧，最大的值为4294967295 不到 43亿。


也就是可以说，去除重复后，文件中的整数不会超过43亿个。

43亿个整数 int 大小 4294967295 * 4B（每个int四个字节） 约等于
17179869180 B（字节）约等于16777215KB 约等于16383MB 约等于 16G


放入内存排序不要想了。

问题是找出最大的和最小的值。
那么，可以确定的是，最大值一定在 0-4294967295 之间。

如果定义一个数组int[4294967295]可以做的话，一个好的办法。
是用类似桶排序的原理。将对应的值扔到对应下标的数组里，如果有1233这个整数，就把下标1233的值设置为1.
那么最后一个不为空的位置 就是最大值，第一个不为空的就是最小值。
时间复杂度为 O(N)，空间O(N)，但是Ｎ太大，内存扛不住。
每个数组元素 取值只有1和0. 用Int型有些浪费了。用一个二进制位就可以表示了。

如果把int[4294967295]　型数组，每个元素大小缩小３２倍。int 大小是32位，那么这个数组
可以表示为  bit[4294967295] 大小约等于4294967295/8 = 536870911B约等于534287KB约等于512M了.

那么别说是4G了，8G，100G也不会过这个范围。



算法描述如下
1bit = byte/8;

bit[4294967295] = init{0};

for(遍历文件)//可以批量读入提高性能。
{
取一个整数 X
        setBit(x);//将第x位值设置为1
}

//找出最大值
for(int i = 4294967295;i>=0;i--)
{
    if(bit[i]==1)return i;//i为最大值

}

//找出最小值
for(int int = 0; i <= 4294967295;i++)
{
    if(bit[i]==1)return i;//i为最小值

}

如果你觉得单线程处理不够快，那么就引入多线程。
把文件分割成N块（前提是你知道如何分割）如果分割不了，可以用两个线程首位读文件，两个指针相遇结束。
每个线程都执行 setBit(x)操作，并且不需要同步，但是多线程不一定可以提高性能啊。

如果是无符号数据的话，略微变形也可以解决。

第二个问题，也可以用类似方法解决，不过数组元素大小设置2bit就可以了。空间也不会超过1G的。

另外，如果不把数据读取内存中。

int max = 文件第一个int数据
int min = 文件第一个int数据
for(遍历文件)//可以批量读入提高性能。
{
   取一个元素X
   if(max<X)max = x;
   if(min>X)min = x;
}

print(max);
print(min); 这是 是你说的 第一个题的解法。


这样也可以解第一个问题。

说出来总比不懂装懂强多
这回不懂下回不就懂了?
PS:问题是问题
人品是人品
技术上的事不至于...

感情你在玩文字游戏是不？你的上面上到哪？包括楼主说的所有的话么？这样重复的话， 是无限循环。
不要试图告诉我， 这个”上面“的断点是” A读文件一写入X数组写满A停止，B读取第二个文件写入Y数组写满B停止，这时候C启动，在X,Y两个数组找出交集，大小10000的两个数组怎么找交集这个大家自由发挥总之取到后写入另外个文件中，就当是文件三吧。“这句话中第一个逗号后面的部分， 你这个上也太会“上”了。即使以你这种“上”法， 也应该是“接着读A文件（如果没读过从头读）”， 才能使算法成立。
你要教人语文和语法， 就别弄出一个模棱两可的标准， 你要是上代表上面全部流程， 就把逗号前的带进去， 别以你的意思去断句。
拜托你还是省省， 别2b呵呵的在这现眼。

接着读B文件是楼主自己说的， 接着读A文件是你说的。
到此为止， 我不想再和你这种sb讨论， 拉低我智商。