海量数据处理专题（一）——面试百度，腾讯，雅虎。。的利器

 

　　大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。

　　下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。

本贴从解决这类问题的方法入手，开辟一系列专题来解决海量数据问题。拟包含 以下几个方面。

1. Bloom Filter
2. Hash
3. Bit-Map
4. 堆(Heap)
5. 双层桶划分
6. 数据库索引
7. 倒排索引（Inverted Index）
8. 外排序
9. Trie树
10. MapReduce

在这些解决方案之上，再借助一定的例子来剖析海量数据处理问题的解决方案。

其实在坛子里面好多类似的面试题都可以用这样的方法来解答，比如百度的TopK热门查询问题，某日IP最多访问问题。

把这类问题研究好了，面试像百度，腾讯这样的公司就完全没问题了！！！

评论

16 楼 sarstime 2011-10-20  

呵呵，原作者出现了。

15 楼 snake1987 2011-03-25  

不是原创也能良好？

14 楼 phylips 2011-03-25  

看楼主的内容基本上源自我在09年写过的一篇文章<<大数据量，海量数据 处理方法总结>>,当时是发布在兵马俑bbs的算法版上：http://bbs.xjtu.edu.cn/BMYAJBDVQSTVHSJUADPOGJEVMYLABIFCXFQP_B/con?B=Algorithm&F=M.1259224358.A&N=3682&T=0。之后应该被转载过很多次，其中涉及的一些数据结构，并没有进行介绍，主要是一方面觉得这个网上或者教科书上都可以找到，另一方面它们只是构成这篇文章的一些基础性知识。

另外说一句双层桶划分这个东西，实际上是我杜撰出来的，之前应该是不存在这个叫法的。

13 楼 ouchxp 2010-10-08  

hanz188 写道

ouchxp 写道

您正在访问的网站被限制访问，限制的原因是：Websense 类别“禁止员工访问-blog”已筛选。

能否贴出来???

话说这位网友是东软员工？

好眼力

12 楼 rocketball 2010-10-08  

兄弟，强烈期待你的后续

11 楼 everlasting_188 2010-10-08  

这个主题相当的不错，关注

10 楼 hanz188 2010-10-08  

ouchxp 写道

您正在访问的网站被限制访问，限制的原因是：Websense 类别“禁止员工访问-blog”已筛选。

能否贴出来???

话说这位网友是东软员工？

9 楼 pkuoliver 2010-10-07  

天堂友人 写道

不过内容好像不是原创的。其他地方见过

能找到原文吗？

8 楼 天堂友人 2010-10-07  

不过内容好像不是原创的。其他地方见过

7 楼 天堂友人 2010-10-07  

及时啊，周一面试可能用得上。

6 楼 飞语001 2010-10-06  

总结的挺全的，值得学习。

5 楼 1927105 2010-10-04  

整理的不错，学习了

4 楼 vieri122 2010-10-03  

文章是好东西。
但这个貌似在csdn上 cnblogs都出现过啊。
不知道是原创 还是转载，注明下比较好

3 楼 4k-grubby 2010-10-02  

pkuoliver 写道

ouchxp 写道

您正在访问的网站被限制访问，限制的原因是：Websense 类别“禁止员工访问-blog”已筛选。

能否贴出来???

我现在也访问不了，我的百度空间有备份 
<>海量数据处理专题（二）——Bloom Filter：http://hi.baidu.com/08%B5%BD%B1%B1%BE%A9/blog/item/c9de6e542d1576113b293538.html
海量数据处理专题（三）——Hash：http://hi.baidu.com/08%B5%BD%B1%B1%BE%A9/blog/item/9daf7b25091fcc6e34a80feb.html
海量数据处理专题（四）——Bit-map：http://hi.baidu.com/08%B5%BD%B1%B1%BE%A9/blog/item/abd9363f6cbb34cc7d1e71f4.html

找个代理应该可以。

2 楼 pkuoliver 2010-10-02  

ouchxp 写道

您正在访问的网站被限制访问，限制的原因是：Websense 类别“禁止员工访问-blog”已筛选。

能否贴出来???

我现在也访问不了，我的百度空间有备份 
<>海量数据处理专题（二）——Bloom Filter：http://hi.baidu.com/08%B5%BD%B1%B1%BE%A9/blog/item/c9de6e542d1576113b293538.html
海量数据处理专题（三）——Hash：http://hi.baidu.com/08%B5%BD%B1%B1%BE%A9/blog/item/9daf7b25091fcc6e34a80feb.html
海量数据处理专题（四）——Bit-map：http://hi.baidu.com/08%B5%BD%B1%B1%BE%A9/blog/item/abd9363f6cbb34cc7d1e71f4.html

1 楼 ouchxp 2010-10-02  

您正在访问的网站被限制访问，限制的原因是：Websense 类别“禁止员工访问-blog”已筛选。

能否贴出来???