`
zhaohaolin
  • 浏览: 1026276 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Hadoop Windows 搭建开发环境[转]

阅读更多

Hadoop Windows 搭建开发环境[转]

Hadoop 2010-07-04 11:24:20 阅读844 评论0  字号: 订阅

在 Windows 平台下部署 Hadoop 开发环境

魏仁言 2010.6.8

Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System ) 。也许到目前为止,Hadoop 还不是那么广为人知,其最新的版本号也仅仅是 0.20 ,距离 1.0 似乎都还有很长的一段距离,但提及 Hadoop 一脉相承的另外两个开源项目 Nutch 和 Lucene ( 三者的创始人都是 Doug Cutting ), 那绝对是大名鼎鼎。Lucene 是一个用 Java 开发的开源高性能全文检索工具包,它不是一个完整的应用程序,而是一套简单易用的 API 。在全世界范围内,已有无数的软件系统,Web 网站基于 Lucene 实现了全文检索功能,后来 Doug Cutting 又开创了第一个开源的 Web 搜索引擎它在 Lucene 的基础上增加了网络爬虫和一些和 Web 相关的功能,一些解析各类文档格式的插件等,此外,Nutch 中还包含了一个分布式文件系统用于存储数据。从 Nutch 0.8.0 版本之后,Doug Cutting 把 Nutch 中的分布式文件系统以及实现 MapReduce 算法的代码独立出来形成了一个新的开源项 Hadoop 。Nutch 也演化为基于 Lucene 全文检索以及 Hadoop 分布式计算平台的一个开源搜索引擎。

基于 Hadoop, 你可以轻松地编写可处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。从目前的情况来看,Hadoop 注定会有一个辉煌的未来:" 云计算" 是目前灸手可热的技术名词,全球各大 IT 公司都在投资和推广这种新一代的计算模式,而 Hadoop 又被其中几家主要的公司用作其" 云计算" 环境中的重要基础软件,如: 雅虎正在借助 Hadoop 开源平台的力量对抗 Google, 除了资助 Hadoop 开发团队外,还在开发基于 Hadoop 的开源项目 Pig, 这是一个专注于海量数据集分析的分布式计算程序。Amazon 公司基于 Hadoop 推出了 Amazon S3 ( Amazon Simple Storage Service ) ,提供可靠,快速,可扩展的网络存储服务,以及一个商用的云计算平台 Amazon EC2 ( Amazon Elastic Compute Cloud ) 。在 IBM 公司的云计算项目--" 蓝云计划" 中,Hadoop 也是其中重要的基础软件。Google 正在跟IBM 合作,共同推广基于 Hadoop 的云计算。

主要是在 Linux 平台下运行的,如果想在 Windows 平台下运行,你需要安装 Cygwin 才能运行, Hadoop 脚本。

下载 Cygwin 安装包

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

安装时一定要确认选择“ openssh ”安装包。如下图:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

Hadoop 分布式运行需要 SSH 。所以这一部分介绍在 Cygwin 下配置 SSH 守护进程。

打开 Cygwin 命令环境

       
        
       

·   When asked if privilege separation should be used, answer .

记着一定要答no, 否则用Hadoop-Ecliple Plugin 插件进行开发时,会提示你没有权限操作文件,不能写等错误。(我因为这个问题头痛了好长时间,最后才找到是这里出现问题的。)

·   When asked if sshd should be installed as a service, answer

·   When asked about the value of CYGWIN environment variable enter.

配置完后,启动 SSHD 守护进程

运行: n et start sshd 或者通过 Windows 服务,启动 CYGWINSSHD 服务 .

想要停止服务运行: n et stop sshd 就可以了

      
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试

最后运行以下命令测试

ssh localhost

如果没有问题会提示以下内容: The authenticity of host 'localhost (127.0.0.1)' can't be established. RSA key fingerprint is 08:03:20:43:48:39:29:66:6e:c5:61:ba:77:b2:2f:55. Are you sure you want to continue connecting (yes/no)? Warning: Permanently added 'localhost' (RSA) to the list of known hosts. rywei@localhost's password:

会提示输入你机子的登录密码,输入无误后,会出现文本图形,类似于欢迎的提示:

The Hippo says: Welcome to

如果你不想每次都要输入密码,可以执行以下命令即可

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

a. 从Hadoop 网站下载最新的安装包( 当前版本

解压hadoop-0.20.2 安装包到你的主目录(/home/username/)

   修改conf/hadoop-env.sh 文件,将export JAVA_HOME 的值修改为你机上的jdk 安装目录,比如/cygdrive/d/tools/jdk1.6.0_03 ,/cygdrive 是Cygwin 安装成功后系统的根目录 如果你的JDK 安装在“C:\Program Files\Java\jdk1.6.0_20

如:export JAVA_HOME='C:\Program Files\Java\jdk1.6.0_20'

c. 在Hadoop 主目录内创建logs 目录,用以存放Hadoop 日志信息

Hadoop 可以用以下三种支持的模式中的一种启动 Hadoop 集群:

默认情况下, Hadoop 被配置成以非分布式模式运行的一个独立 Java 进程。这对调试非常有帮助。

下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的 output 目录。 
$ mkdir input 
$ cp conf/*.xml input 
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
$ cat output/*

Hadoop 可以在单节点上以所谓的伪分布式模式运行,此时每一个 Hadoop 守护进程都作为一个独立的 Java 进程运行。

使用如下配置 : 
conf/core-site.xml :

    <name>fs.default.name</name>

 

 

    <value>hdfs://localhost:9000</value>

 

 

    <name>dfs.replication</name>

 

 

    <value>1</value>

 

 

    <name>mapred.job.tracker</name>

 

 

    <value>localhost:9001</value>

 

 

在 Cygwin 下 必须设置中间的暂存目录,否则会出错的

  <name>mapred.child.tmp</name>

  <value>/home/hadoop-0.20.1/temp</value>

注:我就是忘记设置这个参数,代码总是不能成功运行, 产生如下错误:

10/05/04 09:15:50 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

10/05/04 09:15:50 INFO mapred.FileInputFormat: Total input paths to process : 4

10/05/04 09:15:51 INFO mapred.JobClient: Running job: job_201005040912_0002

10/05/04 09:15:52 INFO mapred.JobClient:  map 0% reduce 0%

10/05/04 09:15:58 INFO mapred.JobClient: Task Id : attempt_201005040912_0002_m_000006_0, Status : FAILED

java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_0/work/tmp does not exist.

        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:420)

        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:244)

        at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:520)

        at org.apache.hadoop.mapred.Child.main(Child.java:143)

10/05/04 09:16:03 INFO mapred.JobClient: Task Id : attempt_201005040912_0002_m_000006_1, Status : FAILED

java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_1/work/tmp does not exist.

        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:420)

        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:244)

        at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:520)

        at org.apache.hadoop.mapred.Child.main(Child.java:143)

格式化一个新的分布式文件系统: 
$ bin/hadoop namenode -format

启动 Hadoop 守护进程: 
$ bin/start-all.sh

Hadoop 守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 ( 默认是 ${HADOOP_HOME}/logs ).

浏览 NameNode 和 JobTracker 的网络接口,它们的地址默认为:

将输入文件拷贝到分布式文件系统: 
$ bin/hadoop fs -put conf input

运行发行版提供的示例程序: 
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

将输出文件从分布式文件系统拷贝到本地文件系统查看: 
$ bin/hadoop fs -get output output 
$ cat output/*

在分布式文件系统上查看输出文件: 
$ bin/hadoop fs -cat output/*

完成全部操作后,停止守护进程: 
$ bin/stop-all.sh

在Hadoop 根目录里,contrib\eclipse-plugin 文件夹下有,Hadoop 在Eclipse 的插件hadoop-0.20.2-eclipse-plugin.jar 。将其拷贝到Eclipse 的plugins 目录下。

启动Eclipse 后,你将看到如下界面:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

点击 Eclipse 主菜单上 Windows->Preferences, 然后在左侧选择 Hadoop Home Directory, 设定你的 Hadoop 主目录, 如图一所示:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

点击 Eclipse 主菜单上 File->New->Project, 在弹出的对话框中选择 MapReduce Project, 输入 project name 如 wordcount,  然后点击 Finish 即可。, 如图所示:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

此后,你就可以象一个普通的 Eclipse Java project 那样,添加入 Java 类,比如你可以定义一个 WordCount 类。最简单的方法,就是将在Hadoop 主目录的src\example\ 下的WordCount 拷贝过来。

如图三所示,设定程序的运行参数: 输入目录和输出目录之后,你就可以在 Eclipse 中运行 wordcount 程序了,当然,你也可以设定断点,调试程序。

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

注:/user/rywei/test 和/user/rywei/test1 为HDFS 文件系统的路径。/user/rywei/tes 为输入目录, /user/rywei/test1 为执行输出目录。

打开 Map/Reduce perspective, 在菜单内选中 选择 "Other" 菜单, , 从 perspectives 列表选中 " Map/Reduce " .

DFS Locations 内可以查看 HDFS 文件系统内的文件,可以进行新增,删除等操作。

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

Location Name -- localhost Map/Reduce Master Host -- localhost DFS Master

注意:一定要设置Mapred.Child.Tmp 目录。例如:

Mapred.Child.Tmp=${HADOOPHOME}/temp

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

一切都设置完了,可以点击运行. 运行结果如下:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境


引文来源  在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客

分享到:
评论

相关推荐

    数据结构_C语言_链表多项式相加_教学示例_1741871959.zip

    数据结构学习

    Swift-Int封装

    Swift-Int

    数据结构_LaTex_Beamer_教学课件_1741868917.zip

    数据结构学习

    操作系统_夏季编程代码_Rust练习_学习记录与管理_1741865458.zip

    操作系统学习

    操作系统_内核_开发框架_SimpleKernel_学习研究_1741864525.zip

    操作系统学习

    软件开发:全面解析需求规格说明书模板的应用与编写

    内容概要:本文档旨在详细介绍如何编写一份详尽的需求规格说明书,涵盖了从产品描述、需求概述到功能细节等多个方面的规范要求。首先,文档明确编写目的、定义产品相关信息,确保读者能够迅速把握文档主旨并理解所讨论的产品背景。其次,在需求概述环节不仅介绍了产品基本功能和发展愿景,还明确了产品运行所需的硬软件环境及其限制。紧接着,功能需求部分则逐一罗列并深入解读各个具体功能点,同时注明未予实现的功能及背后原因,确保后续工作中有据可依。最后,在附录和其他可选项如数据描述、性能和运行需求等章节中继续补充,完善文档信息链,为技术人员提供坚实依据。 适合人群:面向软件开发团队成员(尤其是产品经理、分析师和技术主管),有助于他们高效梳理业务需求并向团队传达清晰的指导方针。 使用场景及目标:用于启动阶段确立项目的范围边界,辅助项目管理者规划任务分工;协助开发者深入理解和遵循既定规则开展编码作业,确保成品符合用户期望值。 阅读建议:鉴于本手册涉及多个层面的规定细则,请使用者先泛读后精读感兴趣的重点章节,同时积极与实际工作相结合,逐步掌握需求采集、整理直至呈现全过程的技术要点和实战技巧。

    2012-2021年深圳市分区新增常住人口数量(万人)

    新增常住人口数量是指在一定时期内(通常为一年),一个地区在某地居住时间达到6个月以上的人口,包括户籍人口和非户籍常住人口的净增长量。

    安卓开发_可扩展RecyclerView_分组列表_动效展示_1741871985.zip

    数据结构学习

    基于PyTorch的ResNet-18与Triplet Attention融合用于图像分类任务

    内容概要:本文展示了将Triplet Attention机制集成到ResNet-18网络架构中,以提升模型对特征的学习能力。首先介绍了Triplet Attention模块的设计思路及其三个分支——通道注意力(Channel Attention)、高度注意力(Height Attention)和宽度注意力(Width Attention)。接着定义了标准的基本残差块并在此基础上增加了自定义的三重注意力机制,最后完成了完整ResNet-18模型的搭建,其中包括输入数据经过一系列卷积操作后的逐步下采样处理以及顶层的全局均值池化层。通过调整num_class参数还可以改变最终输出类别数来适应不同的业务场景。 适用人群:熟悉深度学习基本概念,特别是对CNN(卷积神经网络)有一定了解的研究人员和技术从业者,或者想要深入了解注意力机制的应用的学生。 使用场景及目标:主要用于解决多模态特征提取问题,能够提高计算机视觉应用如图像识别或物体检测的效果,在医学影像诊断、安防监控等领域有广泛应用前景。 其他说明:提供的完整代码可以作为进一步探索此类网络结构的基础工具,并有助于研究人员进行迁移学习实验和其他相

    程序设计_算法与数据结构_竞赛学习_参考书_1741870359.zip

    数据结构学习

    智慧矿山整体解决方案【42页】.pptx

    智慧矿山整体解决方案【42页】

    基于C语言+MPU6050六轴传感器位移测算+源码(毕业设计&课程设计&项目开发)

    基于C语言+MPU6050六轴传感器位移测算+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~ 基于C语言+MPU6050六轴传感器位移测算+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用 基于C语言+MPU6050六轴传感器位移测算+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用 基于C语言+MPU6050六轴传感器位移测算+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~ 基于C语言+MPU6050六轴传感器位移测算+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~

    数据结构_算法分析_C语言_答案共享_1741868718.zip

    数据结构学习

    shuhongfan_Data_Structure_Demo_1741871175.zip

    数据结构学习

    40个战略咨询模型(41页 图片版 ).pptx

    40个战略咨询模型(41页 图片版 )

    Linux_Cpp_后台开发_进阶学习资源_1741866133.zip

    操作系统学习

    深度学习图像识别技术中CNN模型的优化及其在医疗、安防与自动驾驶中的应用

    内容概要:本文聚焦于利用深度学习改善卷积神经网络(CNN)在图像识别上的效果。首先介绍了深度学习和图像识别的历史背景和技术现状,并重点讨论了CNN的特点与发展。然后阐述了针对现有CNN模型存在的局限所做出的技术改良,包括架构设计引入残差连接和多尺度特征融合,训练策略上采取自适应学习率调整与数据增强措施,最终构建出了更具竞争力的新模型。该模型经过在CIFAR-10与ImageNet两大数据集上严格的对比测试显示,相较于同类模型有了明显的性能增长,准确率分别提升至95.2%及92.7%,训练耗时减少15%,并且模型体积更轻巧利于部署。文中也提及了图像识别具体案例研究,在医疗图像诊断、安防智能监控系统以及无人驾驶汽车环境感知环节有着重要贡献。 适用人群:对图像识别技术、深度学习感兴趣的科研工作者、高校师生以及从事相关产业技术研发的专业人士。 使用场景及目标:可用于提高各类需要精确快速定位或辨认物体应用场景下系统的运行效能;为涉及计算机视觉业务的企业提供创新性解决方案。 其他说明:文章提到模型仍然存在一些有待解决的问题比如更好的跨域迁移能力和更强的数据安全保护等方面,指明了未来的研发路径,对于

    我的图书馆特色藏书推荐.doc

    我的图书馆特色藏书推荐

    前端分析-2023071100789s122

    前端分析-2023071100789s122

    中国象棋_马步走法_骑士巡游_算法实现与可视化工具_1741873780.zip

    数据结构学习

Global site tag (gtag.js) - Google Analytics