`
安铁辉
  • 浏览: 244913 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

重新安装hadoop

阅读更多
本文介绍hadoop 最简单配置,保证能本地测试自己写的程序,更多配置可参照末尾文章链接。
之前在虚拟机中安装过hadoop hive hbase,电脑重做系统了,本次需要重新安装,虚拟机实在不方便,转cygwin吧,这个东东不错,window上可以用linux的很多东西,本地查看项目的log也很方便,比如 tail -fn 20  xxx.log 可以观察log输出。

一、cygwin安装
安装很简单,和普通软件一样,但是1.7版本有个问题,如下:
cygwin 1.7  这个版本修改了文件所有者的属性,到时本地debug报错,不能执行 bash
解决方案:
1、修改/etc/fstab文件,增加 none /cygdrive binary,user,noacl,posix=0 0 0
2、修改/etc/password 增加sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
3、记得还重新配置了一次免登录,密钥写在administrator/.ssh下面
二、ssh 安装
一定要用管理员运行cygwin

如果有启动ssh失败的情况
依次执行下面命令

$ mkpasswd -l > /etc/passwd
$ mkgroup -l > /etc/group

$ cygrunsrv -R sshd     删除ssd服务
$ ssh-host-config -y     重新配置
$ cygrunsrv -S sshd      启动服务。

Administrator@backup ~
$ chmod +r /etc/group    # 对文件权限
 
Administrator@backup ~
$ chmod +r /etc/passwd    # 对文件权限
 
Administrator@backup ~
$ chmod +rwx /var/    # 对文件权限
 
Administrator@backup ~
$ ssh-host-config      # 引导SSH服务配置
*** Info: Generating /etc/ssh_host_key
*** Info: Generating /etc/ssh_host_rsa_key
*** Info: Generating /etc/ssh_host_dsa_key
*** Info: Creating default /etc/ssh_config file
*** Info: Creating default /etc/sshd_config file
*** Info: Privilege separation is set to yes by default since OpenSSH 3.3.
*** Info: However, this requires a non-privileged account called 'sshd'.
*** Info: For more info on privilege separation read /usr/share/doc/openssh/READ
ME.privsep.
*** Query: Should privilege separation be used? (yes/no) yes  #输入yes
*** Info: Updating /etc/sshd_config file
 
 
*** Warning: The following functions require administrator privileges!
 
*** Query: Do you want to install sshd as a service?
*** Query: (Say "no" if it is already installed as a service) (yes/no) yes  #输入yes
*** Info: Note that the CYGWIN variable must contain at least "ntsec"
*** Info: for sshd to be able to change user context without password.
*** Query: Enter the value of CYGWIN for the daemon: [ntsec] ntsec  #输入ntsec
*** Info: On Windows Server 2003, Windows Vista, and above, the
*** Info: SYSTEM account cannot setuid to other users -- a capability
*** Info: sshd requires.  You need to have or to create a privileged
*** Info: account.  This script will help you do so.
 
*** Info: You appear to be running Windows 2003 Server or later.  On 2003 and
*** Info: later systems, it's not possible to use the LocalSystem account
*** Info: for services that can change the user id without an explicit password
*** Info: (such as passwordless logins [e.g. public key authentication] via sshd
).
 
*** Info: If you want to enable that functionality, it's required to create a ne
w
*** Info: account with special privileges (unless a similar account already exis
ts).
*** Info: This account is then used to run these special servers.
 
*** Info: Note that creating a new user requires that the current account have
*** Info: Administrator privileges itself.
 
*** Info: No privileged account could be found.
 
*** Info: This script plans to use 'cyg_server'.
*** Info: 'cyg_server' will only be used by registered services.
*** Query: Do you want to use a different name? (yes/no) no  #输入no,不指定启动用户
*** Query: Create new privileged user account 'cyg_server'? (yes/no) no  #输入no,不指定启动用户
*** ERROR: There was a serious problem creating a privileged user.
*** Query: Do you want to proceed anyway? (yes/no) yes  #输入yes
*** Warning: Expected privileged user 'cyg_server' does not exist.
*** Warning: Defaulting to 'SYSTEM'
 
*** Info: The sshd service has been installed under the LocalSystem
*** Info: account (also known as SYSTEM). To start the service now, call
*** Info: `net start sshd' or `cygrunsrv -S sshd'.  Otherwise, it
*** Info: will start automatically after the next reboot.
 
*** Info: Host configuration finished. Have fun!
 
Administrator@backup ~
$ cygrunsrv.exe -S sshd  # 启动 SSH服务

3.配置sshd登陆

      在terminal窗口中输入ssh-keygen成功密钥文件。生成id_rsa.pub

      cp id_rsa.pub authorized_keys

      然后关闭terminal,然后在启动输入ssh localhost
  

三、hadoop安装(hadoop-0.19.1-dc)
1、下载hadoop压缩包,解压到一个目录
2、配置环境,我只做了最简单的配置,保证hadoop服务能起来就可以了。主要是jobtracker:mapred.job.tracker 和namenode:fs.default.name配置好了就可以
hadoop-env.sh 环境变量
export JAVA_HOME=/cygdrive/D/java_tools/jdk1.6.0_29

hadoop-site.xml 
<property> 
  	<name>fs.default.name</name> 
  	<value>hdfs://127.0.0.1:9100</value> 
  	<description>The name of the default file system. A URI whose 
  	scheme and authority determine the FileSystem implementation. The 
  	uri's scheme determines the config property (fs.SCHEME.impl) naming 
  	the FileSystem implementation class. The uri's authority is used to 
  	determine the host, port, etc. for a filesystem.</description> 
</property> 
<property> 
	<name>hadoop.tmp.dir</name> 
  	<value>/home/songpo/hive/hive-1.1.4/hadoop-0.19</value> 
</property> 

<property> 
	<name>dfs.name.dir</name> 
	<value>/home/songpo/hive/hadoop-0.19/hdfs/name</value> 
</property> 

<property> 
	<name>dfs.data.dir</name> 
	<value>/home/songpo/hive/hadoop-0.19/hdfs/data</value> 
</property> 

<property> 
	<name>mapred.job.tracker</name> 
	<value>127.0.0.1:9101</value> 
	<description>The host and port that the MapReduce job tracker runs 
	at. If "local", then jobs are run in-process as a single map 
	and reduce task. 
	</description> 
</property>


这样hadoop 就配置好了。
3、记得应该是格式化一下
hadoop namenode -format

4、启动hadoop服务
bin> sh  start-all.sh
5、测试
hadoop fs -ls /
三、eclipse调试参照http://v-lad.org/Tutorials/Hadoop/10%20-%20configure%20hadoop.html

转载地址:http://blog.csdn.net/hijk139/article/details/8638458
参数说明:http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html

查询jar很方便的一个网站:grepcode
分享到:
评论

相关推荐

    eclipse安装Hadoop插件

    ### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...

    利用ansible 自动 安装Hadoop 集群

    本篇将详细讲解如何利用Ansible自动安装Hadoop集群。 首先,理解Ansible的工作原理至关重要。Ansible基于SSH(Secure Shell)协议,无需在目标节点上安装任何代理,通过控制节点即可实现远程管理。它使用YAML格式的...

    windows下安装hadoop

    4. 等待安装完成,安装完成后,需要重新启动系统。 二、配置环境变量 环境变量是操作系统中的一种设置,用于存储系统的配置信息。Hadoop 需要配置环境变量,以便正确地运行。 1. 右键单击"我的电脑",选择"属性...

    RedHatlinux下安装hadoop

    资源名称:RedHat linux下安装hadoop内容简介: hadoop安装有三种模式:单机模式,伪分布式,完全分布式。本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    hadoop/bin/hadoop.dll

    2. **重新下载**:如果确认下载无误,尝试重新下载并重新安装Hadoop。 3. **查找替代源**:如果官方下载包中确实没有这个文件,可以在Hadoop社区论坛、GitHub或其他开发者资源中寻找可能的解决方案,比如其他人可能...

    安装hadoop_配置hadoop的运行环境视频

    1. **系统要求**:在安装Hadoop之前,你需要一个支持Java运行环境的操作系统,如Linux或Windows。通常,Linux因其稳定性而成为首选。 2. **安装Java**:Hadoop依赖Java,所以第一步是确保系统上已经安装了Java ...

    hadoop的安装

    2. 安装Hadoop及环境变量设置 - 接下来,开始安装Hadoop。首先需要下载Hadoop安装包,这可以通过wget命令来完成。 - 下载完成后,使用命令将安装包移动到指定目录。 - 然后,使用解压命令,如tar -zxvf,来解压...

    Windows安装hadoop

    Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop

    centos安装hadoop超级详细

    本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备步骤、具体安装过程及注意事项。 #### 二、准备工作 在正式安装Hadoop之前,需要完成以下准备工作: ##### 2.1 创建Hadoop用户 由于Hadoop在运行时...

    windows安装需要的Hadoop库文件

    以下是一些关于在Windows上安装Hadoop库文件的关键知识点: 1. **Java开发工具**:Hadoop依赖于Java环境,因此首先需要安装Java Development Kit (JDK)。确保下载与Windows操作系统兼容的JDK版本,并正确配置`JAVA_...

    实验1 安装Hadoop.doc

    2. **安装Hadoop**: - 解压Hadoop安装包:`tar -xvf hadoop.tar.gz` - 修改`core-site.xml`等配置文件,设置HDFS和MapReduce相关的参数。 - 格式化HDFS文件系统:`hadoop namenode -format` - 启动Hadoop服务:...

    Windows本地安装Hadoop所需文件.zip

    本压缩包“Windows本地安装Hadoop所需文件.zip”包含了在Windows系统上运行Hadoop所需的关键组件和配置文件,方便快速启动你的Hadoop学习之旅。 Hadoop是一个开源的分布式计算框架,主要由Hadoop Distributed File ...

    在windows环境下安装Hadoop

    ### 在Windows环境下安装Hadoop #### 一、概述 随着大数据技术的发展,Hadoop作为一款分布式处理框架,已经成为处理大规模数据集的重要工具之一。对于在Windows操作系统上进行开发的人员来说,想要搭建一个完整的...

    Hadoop2.7.7安装过程

    在本文中,我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7,这是一个广泛使用的开源分布式计算框架。在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖...

    hadoop安装

    Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...

    window上安装hadoop所需的winutils

    window上安装hadoop所需的winutils;支持hadoop-2.6.0、hadoop-2.6.3、hadoop-2.6.4、hadoop-2.7.1、hadoop-2.8.0-RC3、hadoop-2.8.1、hadoop-2.8.3、hadoop-3.0.0;请依据hadoop版本找到对应的文件,以免出错

    Windows上安装Hadoop

    在Windows操作系统上安装Hadoop可能是一项挑战,但通过遵循正确的步骤和使用合适的工具,这个过程可以变得相对平滑。本文将详细介绍如何在Windows环境中搭建Hadoop,并在Vista或Win7系统上安装SSH服务,以便远程管理...

Global site tag (gtag.js) - Google Analytics