`

基于cygwin的Hadoop Windows环境搭建

 
阅读更多

在装完cygwin后我们一般将它添加到win7系统环境变量PATH中:

D:\cygwin\bin;D:\cygwin\usr\sbin;

 

在cygwin中开启停用删除服务的命令:

开启服务: $ net start 服务名

停止服务: $ net stop 服务名

删除服务: $ cygrunsrv -R 服务名

 

cygwin自带的命令:

检查所有安装的软件的版本号: $ cygcheck -c
检查当前Cygwin的版本号: $ cygcheck -c cygwin

 

cygwin编译搭建hadoop环境需要安装的软件包:

1.openssh
2.openssl
3.sed
4.zlib
4.tcp_wrappers
5.diffutils
6.vim
7.subversion

8.mpfr(版本4)

 

cygwin没有自动卸载功能,需要手动操作3个步骤如下:

1.停止服务: $ net stop 服务名

2.删除服务: $ cygrunsrv -R 服务名

3.删除cygwin文件

 

然后如下进行操作(因为是重新安装,与第一次安装稍有区别)

Administrator@RD-2013-03-25-02 ~
$ ssh-host-config

*** Query: Overwrite existing /etc/ssh_config file? (yes/no) yes
*** Info: Creating default /etc/ssh_config file
*** Query: Overwrite existing /etc/sshd_config file? (yes/no) yes
*** Info: Creating default /etc/sshd_config file
*** Info: Privilege separation is set to yes by default since OpenSSH 3.3.
*** Info: However, this requires a non-privileged account called 'sshd'.
*** Info: For more info on privilege separation read /usr/share/doc/openssh/READ                                                                                                                           ME.privsep.
*** Query: Should privilege separation be used? (yes/no) no
*** Info: Updating /etc/sshd_config file

*** Query: Do you want to install sshd as a service?
*** Query: (Say "no" if it is already installed as a service) (yes/no) yes
*** Query: Enter the value of CYGWIN for the daemon: [] netsec
*** Info: On Windows Server 2003, Windows Vista, and above, the
*** Info: SYSTEM account cannot setuid to other users -- a capability
*** Info: sshd requires.  You need to have or to create a privileged
*** Info: account.  This script will help you do so.

*** Info: You appear to be running Windows XP 64bit, Windows 2003 Server,
*** Info: or later.  On these systems, it's not possible to use the LocalSystem
*** Info: account for services that can change the user id without an
*** Info: explicit password (such as passwordless logins [e.g. public key
*** Info: authentication] via sshd).

*** Info: If you want to enable that functionality, it's required to create
*** Info: a new account with special privileges (unless a similar account
*** Info: already exists). This account is then used to run these special
*** Info: servers.

*** Info: Note that creating a new user requires that the current account
*** Info: have Administrator privileges itself.

*** Info: No privileged account could be found.

*** Info: This script plans to use 'cyg_server'.
*** Info: 'cyg_server' will only be used by registered services.
*** Query: Do you want to use a different name? (yes/no) yes
*** Query: Enter the new user name: Administrator
*** Query: Reenter: Administrator

*** Warning: Privileged account 'Administrator' was specified,
*** Warning: but it does not have the necessary privileges.
*** Warning: Continuing, but will probably use a different account.
*** Warning: The specified account 'Administrator' does not have the
*** Warning: required permissions or group memberships. This may
*** Warning: cause problems if not corrected; continuing...
*** Query: Please enter the password for user 'Administrator':
*** Query: Reenter:


*** Info: The sshd service has been installed under the 'Administrator'
*** Info: account.  To start the service now, call `net start sshd' or
*** Info: `cygrunsrv -S sshd'.  Otherwise, it will start automatically
*** Info: after the next reboot.

*** Info: Host configuration finished. Have fun!

 

 

Administrator@RD-2013-03-25-02 ~
$ net start sshd
CYGWIN sshd 服务正在启动 .
CYGWIN sshd 服务已经启动成功

 接下来是配置无密码登陆:

 

 

Administrator@RD-2013-03-25-02 ~
$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/sony/.ssh/id_rsa):回车
Created directory '/home/Administrator/.ssh'.
Enter passphrase (empty for no passphrase):回车
Enter same passphrase again:回车
Your identification has been saved in /home/Administrator/.ssh/id_rsa.
Your public key has been saved in /home/Administrator/.ssh/id_rsa.pub.
The key fingerprint is:
e8:38:5e:e3:bb:cf:76:03:61:5f:f2:68:ed:a3:49:db Administrator@RD-2013-03-25-02
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|                 |
|       .o . .    |
|      ..So *     |
|     o  . + o    |
|    o +  o..     |
|   . + o..o+o    |
|    . +=o.+oE.   |
+-----------------+

Administrator@RD-2013-03-25-02 ~
$ cd .ssh/

Administrator@RD-2013-03-25-02 ~/.ssh 
$ ls
id_rsa  id_rsa.pub

Administrator@RD-2013-03-25-02 ~/.ssh 
$ cp id_rsa.pub authorized_keys

Administrator@RD-2013-03-25-02 ~/.ssh 
$ ls
authorized_keys  id_rsa  id_rsa.pub

 

 

验证如下:

 

Administrator@RD-2013-03-25-02 ~/.ssh
$ ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is 5f:21:b1:24:80:92:f6:af:3e:e3:a8:f9:cb:a4:4f:ec.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.

Administrator@RD-2013-03-25-02 ~/.ssh
$ who
admin    tty0         2011-11-25 15:42 (::1)

 

 

 

 

 

 

 

 

 

 

分享到:
评论

相关推荐

    Windows上Hadoop环境搭建简介

    在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。 但是我在安装过程中碰到的一些问题, 没有在任何一个可找到的网页中得到全部解决。 例如,我们一开始选择的是Hadoop 1.0.0版本,...

    基于windows的hadoop集群搭建图文教程 自己写的亲测可以安装

    ### 基于Windows的Hadoop集群搭建图文教程 #### 一、引言与背景介绍 随着大数据技术的发展,Hadoop作为一个重要的分布式处理框架,在数据分析领域占据着举足轻重的地位。然而,对于初学者而言,尤其是在Windows...

    Hadoop云计算平台搭建最详细过程(共22页).pdf

    1. 安装环境简介:Hadoop云计算平台支持Linux和Windows平台,推荐在Linux平台上安装,.Windows平台需要安装Cygwin来模拟UNIX环境。 2. 安装步骤: (1)下载和安装JDK,版本为jdk-7u51-linux-x64.tar.gz。 (2)创建...

    Win10不需要Cygwin搭建大数据测试环境搭建hive的bin文件(包含官方版本中缺少的cmd文件)hive)

    但本文提供的资源解决了这一问题,无需Cygwin即可在Windows 10上搭建Hive测试环境。 首先,我们要理解Hive的运行机制。Hive是基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供SQL...

    在windows下搭建hadoop2开发环境小案例

    在Windows环境下搭建Hadoop2开发环境是一个常见的任务,尤其对于初学者和开发者来说,了解这一过程至关重要。Hadoop是一个开源的分布式计算框架,它允许在大规模集群上处理和存储大量数据。在这个小案例中,我们将...

    windows版hadoop

    但是,通过一些特殊配置,如使用Cygwin或Windows Subsystem for Linux(WSL)等工具,可以在Windows环境下运行Hadoop。这里我们将探讨如何在Windows 10上安装和配置Hadoop 2.6.1。 首先,你需要下载Apache Hadoop的...

    hadooponwindows-master.rar

    标题 "hadooponwindows-master.rar" 暗示这是一个关于在Windows系统上搭建Hadoop环境的项目或教程的压缩文件。Hadoop是一个开源框架,主要用于处理和存储大规模数据,最初设计时主要考虑的是运行在Linux集群上,但...

    windows下安装云计算环境hadoop的完整步骤

    在 Windows 环境下搭建 Hadoop 集群是一项挑战性的任务,尤其是对于初次接触大数据处理框架的开发者来说。本文将详细阐述在 Windows 平台上安装配置 Hadoop 的具体步骤及注意事项,确保读者能够顺利搭建出一个可运行...

    windows平台下载安装cygwin

    在Windows平台上,为了搭建Hadoop开发环境,Cygwin是一个重要的工具。Cygwin是一个开源软件,它提供了一个类似于Linux的环境,使开发者能够在Windows系统上运行许多原本只能在Unix或Linux环境下执行的命令行工具和...

    基于hadoop的云计算研究报告

    通过上述步骤,我们可以构建一个完整的基于Hadoop的云计算平台,不仅能够理解Hadoop的基本结构和组成部分,还能够实际操作云存储虚拟平台的搭建、Hadoop环境配置及各种运行模式的建立。这一过程对于深入理解和掌握...

    Hadoop云计算平台搭建最详细过程(共22页).docx

    2. 安装环境简介:Hadoop可以在Linux主机集群系统上安装,windows平台仅作为开发平台支持,需要安装Cygwin来提供shell支持。 3. 硬件要求:搭建完全分布式环境需要多台计算机集群,Master和Slaves处理器、内存、...

    windows运行hadoop所需环境

    然而,通过特定的配置和工具,Windows用户也能搭建和运行Hadoop环境。以下是对标题和描述中涉及的知识点的详细说明: 1. **Hadoop**:Hadoop是一个开源框架,由Apache基金会维护,主要用于分布式存储和处理大数据。...

    hadoop-2.7.4-with-windows

    Hadoop 2.7.4是Hadoop发展过程中的一个重要版本,对于Windows平台提供了良好的支持,使得在Windows环境下搭建和运行Hadoop集群成为可能。这个压缩包文件"hadop-2.7.4"包含了在这个特定版本下运行Hadoop所需的所有...

    Hadoop云计算平台搭建最详细过程.doc

    在Windows环境下,虽然可以使用Cygwin模拟Linux环境,但由于分布式操作未经过充分测试,可能会遇到更多问题,因此推荐在Linux上进行搭建。 总的来说,搭建Hadoop云计算平台是一个涉及多个层面和技术的复杂过程,...

    hadoop的dll文件 hadoop.zip

    然而,通过 Cygwin 或其他模拟Linux环境的工具,可以在Windows上搭建Hadoop集群。此外,还有一些预配置的Hadoop发行版,如Apache Hadoop for Windows,它们可以帮助简化Windows上的部署过程。 总的来说,Hadoop的...

    hadoop2.71 window环境下运行文件

    不过,通过一些额外的步骤,我们可以在Windows上搭建Hadoop环境并运行相关命令。以下是对标题和描述中涉及知识点的详细解释: 1. **Hadoop**: Hadoop是一个开源框架,主要用于存储和处理大量数据,尤其适合大数据...

    hadoop-2.7.x&2.6.x windows可执行文件包

    本文将详细讲解如何在Windows操作系统上搭建和使用Hadoop 2.6.x及2.7.x版本的可执行环境,主要基于提供的压缩包文件:`hadoop2.7.1X64.zip`和`hadoop2.6(x64)V0.2.zip`。 一、Hadoop简介 Hadoop的核心组件包括HDFS...

Global site tag (gtag.js) - Google Analytics