Hadoop分布式应用框架

 

 

（1）HDFS实现google的文件系统
（2）并实现google的mapreduce系统。

作为Hadoop程序员，他要做的事情就是：
1、定义Mapper，处理输入的Key-Value对，输出中间结果。
2、定义Reducer，可选，对中间结果进行规约，输出最终结果。
3、定义InputFormat 和OutputFormat，可选，InputFormat将每行输入文件的内容转换为Java类供Mapper函数使用，不定义时默认为String。
4、定义main函数，在里面定义一个Job并运行它。

Hadoop的作用：
完成分布式运算。
如：统计大量的日志。
是否可以根据mapreduce的逻辑完成分布式搜索？