本文根据网上资料实现基于单机的伪分布式运行模拟,并记录此过程中遇到的问题。
主要资料博客地址:http://www.cnblogs.com/panderen/archive/2011/05/17/2048651.html
一、实验环境及需要的软件:
实验环境:Windows7旗舰版 32位系统
需要的软件:
1、Jdk1.6以上 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
2、Cygwin 下载地址:http://www.cygwin.com/
3、稳定版hadoop 下载地址:http://hadoop.apache.org/common/releases.html#Download
二、实验步骤:
1、安装jdk到本机
注意:jdk安装路径不要带空格(例如:C:\Program Files),带空格会影响hadoop的运行。
2、安装Cygwin
此实验下载的版本为1.7.25,安装步骤请参见Hadoop开发者入门专刊中:“在Windows上安装Hadoop教程”
个人遇到的问题:
a、注意选择上面说的需在Cygwin中安装的包(点击所需要的包左侧的Skip);
b、上面说到的http://www.cygwin.cn链接不上了,故选择了http://mirrors.163.com/cygwin/;
c、如果没安装成功,删除安装目录文件,运行regedit.exe进入注册表,删除Cygwin文件,目录所在位置如下:HKEY_CURRENT_USER\Software\Cygwin HKEY_LOCAL_MACHINE\SOFTWARE\Cygwin
d、环境变量配置仅需把平时我们配JDK的方法配好,Cygwin仅需把bin所在目录加入,usr下的不用配;
e、可能版本的问题,安装sshd服务时比专刊中的步骤更多,仔细阅读提示信息,配置要创建两个账户(cyg_server、sshd),如无法启动服务,查看cygwin安装目录下var/log/sshd.log文件中的信息来解决问题。
f、安装好sshd后,该服务可以在装好的Cygwin中输入net start sshd命令启动或通过"控制面板-管理工具-服务-CYGWIN sshd"启动。
3、安装hadoop
a、下载稳定版本,此实验下载的是1.2.1,安装步骤请参见Hadoop开发者入门专刊中:“在Windows上安装Hadoop教程”
b、运行cygwin,进入hadoop安装目录,启动hadoop,例如:
bin/start-all.sh //启动命令
bin/stop-all.sh //停止命令
启动后浏览器访问:http://localhost:50070/ 和 http://localhost:50030/,能正常访问,说明安装成功。
分享到:
相关推荐
单机版 Hadoop 安装是指在单台机器上安装 Hadoop 环境,以便快速入门 Hadoop 和了解 Hadoop 的基本原理和使用方法。在这个安装过程中,我们将创建 Hadoop 用户组和用户,安装 JDK,配置环境变量,安装 SSH 服务,并...
本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结: 1. 安装前的准备工作:创建 hadoop 用户,设置密码,增加...
【安装Hadoop(单机版和集群)步骤】 在IT领域,Hadoop是一个分布式计算框架,主要用于处理和存储海量数据。本教程将详细介绍如何在Ubuntu 12.10操作系统上安装Hadoop的单机版和集群版。首先,确保你已经在VMware...
在本篇文章中,我们将详细介绍如何在单机上搭建 Hadoop 环境,包括安装 Linux 操作系统、创建 Hadoop 用户组和用户、安装 JDK、修改机器名、安装 SSH 服务、建立 SSH 无密码登录等步骤。 安装 Linux 操作系统 在...
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...
1. **安装Java环境**:Hadoop依赖Java运行,所以你需要先确保系统已经安装了JDK,并且`JAVA_HOME`环境变量指向正确的位置。 2. **下载Hadoop**:从Apache官网下载Hadoop 2.2.0的二进制包,解压到你选择的目录,例如...
本篇将详细介绍如何在单机环境下安装Hadoop,以便初学者理解其基本操作和工作原理。 首先,我们需要了解Hadoop的核心组件。Hadoop主要包括两个主要部分:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS...
"单机Hadoop配置安装教程" 单机Hadoop配置安装是Hadoop beginners的不二之选,本篇文章将详细指导您如何在Windows平台上安装和配置Hadoop-2.5.2。通过亲自实验和实践,本教程将带您掌握单机Hadoop配置安装的所有...
#### 八、配置Hadoop环境文件 编辑`/usr/local/hadoop/etc/hadoop/hadoop-env.sh`文件,设置`JAVA_HOME`变量: ```bash sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 找到`JAVA_HOME`变量,修改为: ...
通过本教程的学习,读者将能够掌握在Ubuntu Linux系统上搭建单机Hadoop集群的基本步骤,包括环境准备、软件安装与配置、启动及测试等环节。 #### 目标 本教程的目标是在Ubuntu Linux操作系统上建立一个基于Hadoop...
Hadoop:2.8.4 (hadoop-2.8.4.tar.gz) Hive:2.3.3 (apache-hive-2.3.3-bin.tar.gz)
本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式和伪分布式模式。无论您是初学者还是有一定经验的技术人员,本教程都将帮助您顺利完成Hadoop的安装和配置。 #### 二、环境准备 1....
王家林教授通过图文教程详细指导了如何从零开始搭建Hadoop环境,提供了极为详尽的操作步骤和解释,帮助初学者能够快速掌握搭建过程,并理解Hadoop的工作原理。此外,他强调了工欲善其事,必先利其器的理念,说明了在...
至此,单机版Hadoop环境已成功安装。用户现在可以在该环境中运行Hadoop MapReduce任务,进行数据处理和分析,尽管这仅限于一台机器,无法体现Hadoop的分布式优势。对于更复杂的应用场景,通常会转向多节点的集群配置...
本实验将引导你完成在CentOS 6操作系统上安装Hadoop的过程,涵盖单机模式、伪分布式模式以及分布式模式的安装。这些模式各有特点,适用于不同的学习和开发需求。\n\n**一、单机模式安装**\n\n1. **环境准备**:首先...
虚拟机技术为Hadoop的安装与测试提供了稳定的运行环境,有助于提高学习效率与资源利用率。 ### 二、Linux常用命令及操作 #### 常用命令介绍 - **打开终端**:使用快捷键`Ctrl+Alt+T`快速打开终端。 - **创建用户*...
2. `RUN`: 执行命令来安装必要的软件包,如 OpenJDK(Hadoop 需要 Java 运行环境)和 Hadoop 本身。 3. `COPY`: 将本地文件复制到 Docker 映像中的特定路径,例如复制配置文件或启动脚本。 4. `ENV`: 设置环境变量,...
### Ubuntu11.10下安装Hadoop0.20.2(单机伪分布式) #### 一、安装虚拟机VMware Workstation v7.1.4 在开始Hadoop的安装之前,首先需要在宿主机上安装虚拟机软件VMware Workstation v7.1.4。这一步主要是为了搭建...