hadoop面试时可能遇到的问题,你能回答出几个 ?

面试hadoop可能被问到的问题，你能回答出几个 ?

1、hadoop运行的原理?

2、mapreduce的原理?

3、HDFS存储的机制?

4、举一个简单的例子说明mapreduce是怎么来运行的 ?

5、面试的人给你出一些问题,让你用mapreduce来实现？

      比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。

6、hadoop中Combiner的作用?

 

大家现看看吧！以后我会把答案写到博客上，欢迎大家拍砖!

评论

10 楼 qqdwll 2011-01-17  

To  lym6520, p_x1984
你们好。谢谢你们的好贴。  我对你们第5个问题的解答没怎么理解。 能否提点下。 呵呵。

9 楼 lance_123 2011-01-12  

p_x1984 写道

一、作用
1、combiner最基本是实现本地key的聚合，对map输出的key进行排序，value进行迭代。如下所示：
map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)

2、combiner还具有类似本地的reduce功能.
例如hadoop自带的wordcount的例子和找出value的最大值的程序，combiner和reduce完全一致。如下所示：
map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K3, V3) ，减轻reduce的负担！reduce: (K3, list(V3)) → list(K4, V4)

3、如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。

举一个hadoop自带的wordcount例子说明。
value就是一个叠加的数字，所以map一结束就可以进行reduce的value叠加，而不必要等到所有的map结束再去进行reduce的value叠加。

二、总结
1、combiner使用的合适，可以在满足业务的情况下提升job的速度，如果不合适，则将导致输出的结果不正确，上面7楼说的很对，不是所有的场合都适合combiner。根据自己的业务来使用。

combiner视业务情况来用，减少MAP->REDUCE的数据传输，提高shuffle速度。就是在map中再做一次reduce操作。

8 楼 p_x1984 2011-01-12  

一、作用
1、combiner最基本是实现本地key的聚合，对map输出的key进行排序，value进行迭代。如下所示：
map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)

2、combiner还具有类似本地的reduce功能.
例如hadoop自带的wordcount的例子和找出value的最大值的程序，combiner和reduce完全一致。如下所示：
map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K3, V3) ，减轻reduce的负担！reduce: (K3, list(V3)) → list(K4, V4)

3、如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。

举一个hadoop自带的wordcount例子说明。
value就是一个叠加的数字，所以map一结束就可以进行reduce的value叠加，而不必要等到所有的map结束再去进行reduce的value叠加。

二、总结
1、combiner使用的合适，可以在满足业务的情况下提升job的速度，如果不合适，则将导致输出的结果不正确，上面7楼说的很对，不是所有的场合都适合combiner。根据自己的业务来使用。

7 楼 kongqz 2011-01-12  

1、hadoop就是map 和 reduce的过程。服务器上一个目录节点+多个数据节点。将程序传送到各个节点，在数据节点上进行计算
2、将数据存储到不同节点，用map方式对应管理，在各个节点进行计算，采用reduce进行合并结果集
3、就是通过java程序和目录节点配合，将数据存放到不同数据节点上
4、看上边的2.注意，分布式注重的是计算，不是每个场景都适合
5、将文件存放到不同的数据节点，然后每个节点计算出前十个进行reduce的计算
6、最后一个没看

6 楼 lym6520 2011-01-12  

关注hadoop，也关注LZ下。

5 楼 yangfuchao418 2011-01-06  

呵呵 是滴

4 楼 p_x1984 2011-01-06  

我们就是要成为某一方面的专家！

3 楼 mimang2007110 2011-01-06  

这几道问题要是都能回答的很好的话就是hadoop的专家了

2 楼 p_x1984 2011-01-05  

欢迎大家来讨论！

1 楼 lance_123 2011-01-05  

这几个问题真要细细的回答，够回答好几个小时了。