`
zhang_zining
  • 浏览: 10027 次
  • 来自: ...
社区版块
存档分类
最新评论

Windows上搭建hadoop的开发环境

阅读更多

前两天刚鼓捣好hadoop的开发环境,接着有鼓捣上tomcat7.027上的websoocket了,还是先记下来吧,省得时间长了该忘了:)

 

      一、 首先安装Cygwin Terminal用来模拟unix环境。Cygwin 在其官网下载即可。http://cygwin.com/install.html,安装时要注意选择必要的安装项。我选择的是在线安装,进入到安装选项时选择以下安装项:

1、Net Category下的 OpenSSL server and client 和 OpenSSLruntime  enviroment  两项

2、Base Category 是默认全部选择的

3、Editors Category 下的 vim

4、Devel Category 下的 subversion:A version control system

选择以上安装项后,点击Select Package 对话框中的下一步。进入Cygwin安装包的下载过程,过程可能有点慢。

 

      二、配置环境变量

安装完Cygwin后需要配置环境变量,在系统环境变量中的path中加入 D:\cygwin\bin;D:\cygwin\usr\sbin 两个变量

 

      三、安装sshd服务

点击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config命令,

Should privilege separation be userd?(yes/no)    此时选择no

当看到“Have fun”时,一般表示sshd 服务安装成功了!

      四、启动sshd服务

在桌面上的“我的电脑”图标上单击右键,点击“管理”菜单,进入Windows 计算机管理,找到CYGWIN sshd服务,启动。当CYGWIN sshd 的状态为“已启动”后,接下来就是配置ssh 登录。

      五、配置ssh登录

执行ssh-keygen命令生成密钥文件,

Enter file in while to save the key(/home/jian/.ssh/id_rsa):  回车

Enter passphrase(empty for no passphrase):  回车

Enter same passphrase again: 回车

完成上述操作后,执行exit命令先退出Cygwin窗口,如果不执行这一步操作,下面的
操作可能会遇到错误。接下来,重新运行Cygwin,执行ssh localhost命令,在第一次执行ssh
localhost时,会有如下图所示的提示,输入yes,然后回车即可。

     六、安装hadoop

将hadoop安装包hadoop-0.20.2.tar.gz解压到D:\hadoop\run目录

     七、安装hadoop的eclipse插件

将hadoop-0.20.2\contrib\eclipse-plugin插件拷贝到eclipse的plugins目录中,启动eclipse。

(hadoop-0.20.2\contrib\eclipse-plugin中的插件只支持到eclipse3.3版本)

     八、配置hadoop

待续...

 

分享到:
评论

相关推荐

    windows下搭建hadoop开发环境

    在Windows环境下搭建Hadoop开发环境是一项复杂但必要的任务,尤其对于初学者和开发者来说,能够直接在本地系统上运行和调试Hadoop程序是极其有用的。本文将详细介绍如何在Windows上配置Hadoop,以便使用Eclipse进行...

    Windows下搭建Hadoop开发环境

    在Windows环境下搭建Hadoop开发环境是一项复杂而重要的任务,它涉及到多个步骤和组件的配置。Hadoop是一个开源的分布式计算框架,由Apache基金会维护,主要用于处理和存储大规模数据集。以下是一些关键知识点: 1. ...

    在windows下搭建hadoop2开发环境小案例

    在Windows环境下搭建Hadoop2开发环境是一个常见的任务,尤其对于初学者和开发者来说,了解这一过程至关重要。Hadoop是一个开源的分布式计算框架,它允许在大规模集群上处理和存储大量数据。在这个小案例中,我们将...

    Hadoop开发环境搭建

    搭建Hadoop开发环境是进行Hadoop编程和应用开发的第一步,这对于理解和实践大数据处理至关重要。 标题“Hadoop开发环境搭建”指的是配置一个适合进行Hadoop应用开发的本地或集群环境。这个过程通常涉及安装Java运行...

    windows下hadoop2.6开发环境搭建过程说明及插件

    在Windows环境下搭建Hadoop2.6开发环境是一个相对复杂的过程,但通过详细的步骤和注意事项,可以有效...理解每个组件的作用,配置好相应的环境,以及掌握解决常见问题的方法,都是成功搭建和使用Hadoop开发环境的关键。

    win7搭建hadoop开发环境工具文件

    在Windows 7上搭建Hadoop开发环境,你需要下载Hadoop的Windows版本,并进行安装。确保你下载的是一个支持Windows的Hadoop发行版,例如Hadoop 3.x系列。在安装过程中,将Hadoop解压到一个目录,如`C:\hadoop`。 接...

    win7下Cygwin搭建Hadoop开发环境

    在 Windows 7 系统中使用 Cygwin 搭建 Hadoop 开发环境是一项较为复杂的任务,需要对 Windows 系统环境变量、Cygwin 的安装与配置以及 Hadoop 安装包进行细致的操作。本文将详细介绍这一过程,帮助读者更好地理解并...

    cygwin+eclipse搭建hadoop开发环境,运行wordcount

    接下来,"Cygwin+Eclipse搭建Hadoop开发环境"文档将指导你如何配置Eclipse IDE,使其能够与Cygwin集成,用于Hadoop项目开发。Eclipse是Java开发者常用的一款强大IDE,它提供了丰富的插件支持,包括Hadoop开发插件,...

    windows环境下的hadoop3.1.0依赖,winutils

    在Windows环境下搭建Hadoop 3.1.0的分布式文件系统需要解决一个重要依赖——WinUtils。这个组件是Hadoop在Windows上运行所必需的,因为Hadoop原本是为Linux环境设计的,它的一些核心功能,如文件操作和本地进程管理...

    Windows环境下Hadoop开发环境配置.docx

    【标题】: "Windows环境下Hadoop开发环境配置" 在Windows环境下配置Hadoop开发环境,主要涉及以下几个关键步骤和知识点: 1. **Hadoop集群环境搭建**: 在本例中,使用了三台运行Ubuntu 10.0.4的虚拟机搭建了一个...

    从零起步搭建Hadoop单机和伪分布式开发环境图文教程.

    搭建Hadoop开发环境,无论是单机模式还是伪分布式模式,都需要准备一些基础软件和环境。单机模式仅用于开发和测试,它在本地运行所有Hadoop守护进程;伪分布式模式将守护进程部署在单个机器上,但是每个守护进程都...

    hadoop2.6,window7 64bit,hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大...正确配置和使用这些文件对于在Windows上搭建Hadoop开发环境至关重要,对于想要在非Linux平台上进行Hadoop开发的IT专业人士来说,这是一个重要的参考资料。

    Hadoop集群环境虚拟机上搭建详解

    根据提供的文件信息,下面将详细介绍在虚拟机上搭建Hadoop集群环境的相关知识点。 1. 安装虚拟机和操作系统 首先,需要安装虚拟机软件,例如文档中提到的VMware Workstation,它是一款流行的虚拟化软件,可以安装在...

    win_hadoop_winutil.zip

    如果你打算在Windows上搭建Hadoop开发环境,了解如何正确使用和配置这些文件至关重要。 最后,要注意的是,虽然这些工具使得在Windows上运行Hadoop成为可能,但生产环境中通常还是推荐使用Linux,因为Linux与Hadoop...

    Hadoop开发环境搭建bin

    windows中Hadoop开发环境中用到的bin,因为镜像下载中缺少winutils.exe和hadoop.dll ,所以上传此资源以备使用 windows搭建Hadoop开发环境请参考https://blog.csdn.net/qq_38774450/article/details/108942115

    windows-hadoop-bin-2.0.0.zip

    总之,这个压缩包提供了一种在Windows上搭建Hadoop开发环境的方法,让开发者能够进行大数据处理的实验和应用开发,而不必依赖外部集群。通过正确的环境配置和操作步骤,用户可以在本地进行MapReduce程序的调试和测试...

Global site tag (gtag.js) - Google Analytics