Hadoop你是否了解,本文就像大家简单Hadoop入门知识,希望正在学习Hadoop以及对学习Hadoop感兴趣的朋友们一起来关注。
AD:
本节和大家介绍一下Hadoop入门,主要内容是Hadoop概论,Hadoop的基本概念等内容,希望通过本节的介绍,大家对Hadoop有初步的认识。下面是具体介绍。
Hadoop入门
Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样,MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验,就可以处理超大的分布式系统得资源。
一、概论
作为Hadoop程序员,他要做的事情就是:
1、定义Mapper,处理输入的Key-Value对,输出中间结果。
2、定义Reducer,可选,对中间结果进行规约,输出最终结果。
3、定义InputFormat和OutputFormat,可选,InputFormat将每行输入文件的内容转换为Java类供Mapper函数使用,不定义时默认为String。
4、定义main函数,在里面定义一个Job并运行它。
然后的事情就交给系统了。Hadoop入门首先要了解一下基本概念。
1.基本概念:Hadoop的HDFS实现了google的GFS文件系统,NameNode作为文件系统的负责调度运行在master,DataNode运行在每个机器上。同时Hadoop实现了Google的MapReduce,JobTracker作为MapReduce的总调度运行在master,TaskTracker则运行在每个机器上执行Task。
2.main()函数,创建JobConf,定义Mapper,Reducer,Input/OutputFormat和输入输出文件目录,最后把Job提交給JobTracker,等待Job结束。
3.JobTracker,创建一个InputFormat的实例,调用它的getSplits()方法,把输入目录的文件拆分成FileSplist作为Mappertask的输入,生成Mappertask加入Queue。
4.TaskTracker向JobTracker索求下一个Map/Reduce。
MapperTask先从InputFormat创建RecordReader,循环读入FileSplits的内容生成Key与Value,传给Mapper函数,处理完后中间结果写成SequenceFile.
ReducerTask从运行Mapper的TaskTracker的Jetty上使用http协议获取所需的中间内容(33%),Sort/Merge后(66%),执行Reducer函数,最后按照OutputFormat写入结果目录。
TaskTracker每10秒向JobTracker报告一次运行情况,每完成一个Task10秒后,就会向JobTracker索求下一个Task。
Nutch项目的全部数据处理都构建在Hadoop之上,详见ScalableComputingwithHadoop。下面我们再来看一下Hadoop入门介绍中程序员编写的代码。
二、程序员编写的代码
我们做一个简单的分布式的Grep,简单对输入文件进行逐行的正则匹配,如果符合就将该行打印到输出文件。因为是简单的全部输出,所以我们只要写Mapper函数,不用写Reducer函数,也不用定义Input/OutputFormat。
packagedemo.hadoop
publicclassHadoopGrep{
publicstaticclassRegMapperextendsMapReduceBaseimplementsMapper{
privatePatternpattern;
publicvoidconfigure(JobConfjob){
pattern=Pattern.compile(job.get("mapred.mapper.regex"));
}
publicvoidmap(WritableComparablekey,Writablevalue,OutputCollectoroutput,Reporterreporter)
throwsIOException{
Stringtext=((Text)value).toString();
Matchermatcher=pattern.matcher(text);
if(matcher.find()){
output.collect(key,value);
}}
}
privateHadoopGrep(){
}//singleton
publicstaticvoidmain(String[]args)throwsException{
JobConfgrepJob=newJobConf(HadoopGrep.class);
grepJob.setJobName("grep-search");
grepJob.set("mapred.mapper.regex",args[2]);
grepJob.setInputPath(newPath(args[0]));
grepJob.setOutputPath(newPath(args[1]));
grepJob.setMapperClass(RegMapper.class);
grepJob.setReducerClass(IdentityReducer.class);
JobClient.runJob(grepJob);
}
}
RegMapper类的configure()函数接受由main函数传入的查找字符串,map()函数进行正则匹配,key是行数,value是文件行的内容,符合的文件行放入中间结果。
main()函数定义由命令行参数传入的输入输出目录和匹配字符串,Mapper函数为RegMapper类,Reduce函数是什么都不做,直接把中间结果输出到最终结果的的IdentityReducer类,运行Job。整个代码非常简单,丝毫没有分布式编程的任何细节。请期待下节关于Hadoop入门介绍。
分享到:
相关推荐
通过学习《Pro Hadoop》,读者将能够掌握Hadoop核心的使用,并且能够处理和分析大规模数据集,最终成为所在领域的“Hadoop核心专家”。 由于文档中的部分内容是通过OCR扫描出的,可能存在一些识别错误或漏识别的...
本书详细介绍了如何下载和安装Spark,包括Python和Scala的shell使用入门,以及如何通过这些shell与Spark交互。本书还讨论了Spark的基本概念,例如RDD(弹性分布式数据集)的概念,以及如何创建和操作RDD。在学习RDD...
《Getting Started with Google Guava》是Bill Bejeck撰写的一本关于使用Google Guava库来提高Java编码效率和质量的入门书籍。Bill Bejeck是一位拥有十年软件工程经验的资深软件工程师,他的工作涵盖了广泛项目。他...
发展至今,人工智能已由早期的符号主义和连接主义,经历了专家系统、机器学习等阶段,发展到现在的深度学习。每一步发展都标志着技术的进步和对人类智能新的理解。 接下来,课程将深入浅出地阐述人工智能的核心分支...
《Kafka技术详解》从Kafka的基本概念讲起,是初学者学习Kafka的理想入门读物。这本书首先介绍Kafka的分布式消息传递模型,让读者对消息系统有一个初步的认识。随后,书中逐步讲解了Kafka的核心概念,例如主题(Topic...