`
emptyhan
  • 浏览: 29834 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

单机安装hadoop环境

阅读更多
本文根据网上资料实现基于单机的伪分布式运行模拟,并记录此过程中遇到的问题。
主要资料博客地址:http://www.cnblogs.com/panderen/archive/2011/05/17/2048651.html

一、实验环境及需要的软件:
实验环境:Windows7旗舰版 32位系统
需要的软件:
1、Jdk1.6以上 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
2、Cygwin  下载地址:http://www.cygwin.com/
3、稳定版hadoop  下载地址:http://hadoop.apache.org/common/releases.html#Download
二、实验步骤:
1、安装jdk到本机
注意:jdk安装路径不要带空格(例如:C:\Program Files),带空格会影响hadoop的运行。
2、安装Cygwin
此实验下载的版本为1.7.25,安装步骤请参见Hadoop开发者入门专刊中:“在Windows上安装Hadoop教程”
个人遇到的问题:
a、注意选择上面说的需在Cygwin中安装的包(点击所需要的包左侧的Skip);
b、上面说到的http://www.cygwin.cn链接不上了,故选择了http://mirrors.163.com/cygwin/;
c、如果没安装成功,删除安装目录文件,运行regedit.exe进入注册表,删除Cygwin文件,目录所在位置如下:HKEY_CURRENT_USER\Software\Cygwin  HKEY_LOCAL_MACHINE\SOFTWARE\Cygwin
d、环境变量配置仅需把平时我们配JDK的方法配好,Cygwin仅需把bin所在目录加入,usr下的不用配;
e、可能版本的问题,安装sshd服务时比专刊中的步骤更多,仔细阅读提示信息,配置要创建两个账户(cyg_server、sshd),如无法启动服务,查看cygwin安装目录下var/log/sshd.log文件中的信息来解决问题。
f、安装好sshd后,该服务可以在装好的Cygwin中输入net start sshd命令启动或通过"控制面板-管理工具-服务-CYGWIN sshd"启动。
3、安装hadoop
a、下载稳定版本,此实验下载的是1.2.1,安装步骤请参见Hadoop开发者入门专刊中:“在Windows上安装Hadoop教程”
b、运行cygwin,进入hadoop安装目录,启动hadoop,例如:
bin/start-all.sh  //启动命令
bin/stop-all.sh   //停止命令
启动后浏览器访问:http://localhost:50070/ 和 http://localhost:50030/,能正常访问,说明安装成功。
分享到:
评论

相关推荐

    单机版hadoop安装(linux)

    单机版 Hadoop 安装是指在单台机器上安装 Hadoop 环境,以便快速入门 Hadoop 和了解 Hadoop 的基本原理和使用方法。在这个安装过程中,我们将创建 Hadoop 用户组和用户,安装 JDK,配置环境变量,安装 SSH 服务,并...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结: 1. 安装前的准备工作:创建 hadoop 用户,设置密码,增加...

    安装Hadoop(单机版和集群)步骤

    【安装Hadoop(单机版和集群)步骤】 在IT领域,Hadoop是一个分布式计算框架,主要用于处理和存储海量数据。本教程将详细介绍如何在Ubuntu 12.10操作系统上安装Hadoop的单机版和集群版。首先,确保你已经在VMware...

    超详细单机版搭建hadoop环境图文解析

    在本篇文章中,我们将详细介绍如何在单机上搭建 Hadoop 环境,包括安装 Linux 操作系统、创建 Hadoop 用户组和用户、安装 JDK、修改机器名、安装 SSH 服务、建立 SSH 无密码登录等步骤。 安装 Linux 操作系统 在...

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程)

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...

    单机版hadoop配置文件

    1. **安装Java环境**:Hadoop依赖Java运行,所以你需要先确保系统已经安装了JDK,并且`JAVA_HOME`环境变量指向正确的位置。 2. **下载Hadoop**:从Apache官网下载Hadoop 2.2.0的二进制包,解压到你选择的目录,例如...

    hadoop单机版安装

    本篇将详细介绍如何在单机环境下安装Hadoop,以便初学者理解其基本操作和工作原理。 首先,我们需要了解Hadoop的核心组件。Hadoop主要包括两个主要部分:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS...

    单机Hadoop配置安装

    "单机Hadoop配置安装教程" 单机Hadoop配置安装是Hadoop beginners的不二之选,本篇文章将详细指导您如何在Windows平台上安装和配置Hadoop-2.5.2。通过亲自实验和实践,本教程将带您掌握单机Hadoop配置安装的所有...

    hadoop 单机安装

    #### 八、配置Hadoop环境文件 编辑`/usr/local/hadoop/etc/hadoop/hadoop-env.sh`文件,设置`JAVA_HOME`变量: ```bash sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 找到`JAVA_HOME`变量,修改为: ...

    单机下Hadoop部署与配置

    通过本教程的学习,读者将能够掌握在Ubuntu Linux系统上搭建单机Hadoop集群的基本步骤,包括环境准备、软件安装与配置、启动及测试等环节。 #### 目标 本教程的目标是在Ubuntu Linux操作系统上建立一个基于Hadoop...

    Hadoop环境搭建(单机)+hive.txt

    Hadoop:2.8.4 (hadoop-2.8.4.tar.gz) Hive:2.3.3 (apache-hive-2.3.3-bin.tar.gz)

    Hadoop安装教程_单机_伪分布式配置

    本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式和伪分布式模式。无论您是初学者还是有一定经验的技术人员,本教程都将帮助您顺利完成Hadoop的安装和配置。 #### 二、环境准备 1....

    从零起步搭建Hadoop单机和伪分布式开发环境图文教程.

    王家林教授通过图文教程详细指导了如何从零开始搭建Hadoop环境,提供了极为详尽的操作步骤和解释,帮助初学者能够快速掌握搭建过程,并理解Hadoop的工作原理。此外,他强调了工欲善其事,必先利其器的理念,说明了在...

    单机_hadoop安装.docx

    至此,单机版Hadoop环境已成功安装。用户现在可以在该环境中运行Hadoop MapReduce任务,进行数据处理和分析,尽管这仅限于一台机器,无法体现Hadoop的分布式优势。对于更复杂的应用场景,通常会转向多节点的集群配置...

    实验1-安装Hadoop1

    本实验将引导你完成在CentOS 6操作系统上安装Hadoop的过程,涵盖单机模式、伪分布式模式以及分布式模式的安装。这些模式各有特点,适用于不同的学习和开发需求。\n\n**一、单机模式安装**\n\n1. **环境准备**:首先...

    实验1 安装Hadoop.doc

    虚拟机技术为Hadoop的安装与测试提供了稳定的运行环境,有助于提高学习效率与资源利用率。 ### 二、Linux常用命令及操作 #### 常用命令介绍 - **打开终端**:使用快捷键`Ctrl+Alt+T`快速打开终端。 - **创建用户*...

    docker一键安装hadoop集群

    2. `RUN`: 执行命令来安装必要的软件包,如 OpenJDK(Hadoop 需要 Java 运行环境)和 Hadoop 本身。 3. `COPY`: 将本地文件复制到 Docker 映像中的特定路径,例如复制配置文件或启动脚本。 4. `ENV`: 设置环境变量,...

    Ubuntu11.10下安装Hadoop0.20.2(单机伪分布式)

    ### Ubuntu11.10下安装Hadoop0.20.2(单机伪分布式) #### 一、安装虚拟机VMware Workstation v7.1.4 在开始Hadoop的安装之前,首先需要在宿主机上安装虚拟机软件VMware Workstation v7.1.4。这一步主要是为了搭建...

Global site tag (gtag.js) - Google Analytics