`
peigang
  • 浏览: 171553 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop单机模式配置

 
阅读更多

Hadoop单机模式调试很方便,现将配置过程作一描述:

环境准备:

JAVA环境要调试安装正常,可以在命令行执行java -version 查看结果,能正常显示版本即可。

java环境变量配置示例如下:

 

export JAVA_HOME=/home/$USER/jdk1.7
export JRE_HOME=/home/$USER/jdk1.7               
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

 

 

Hadoop安装配置:

1、首先在hadoop官网下载最新版本。这里以下载的hadoop-1.0.0.tar.gz 为例

2、将hadoop-1.0.0.tar.gz解压到指定目录。

3、配置hadoop环境变量,详细配置如下:

 

export HADOOP_HOME=/home/$USER/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

 4、配置hadoop/conf/core-site.xml 添加

 

 

<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9000</value>
</property>

 

 

 5、配置hadoop/conf/mapred-site.xml 添加

 

<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9001</value>
</property>

 

 

 6、配置hadoop/conf/hadoop-env.sh 添加

 

 export JAVA_HOME=/home/$USER/jdk1.7

 还有一个重要的文件hdfs-site.xml,这里只有分布式模式才需要配置,此处可以忽略。

 

 

以上完成后在命令行执行start-all.sh启动haoop服务。

运行jps查看进程:

如显示以下内容:

7480 SecondaryNameNode
7553 JobTracker
7926 Jps
7259 NameNode
7660 TaskTracker
7369 DataNode

 则说明单机模式hadoop配置成功。

 

分享到:
评论

相关推荐

    Hadoop单机模式的配置与安装

    【Hadoop单机模式配置与安装详解】 在深入探讨Hadoop单机模式的配置与安装之前,首先要明白Hadoop是一个开源的分布式计算框架,由Java编写,因此在安装Hadoop之前,必须确保系统中已安装Java Development Kit (JDK)...

    云计算应用实验报告 武汉理工大学云计算应用 hadoop单机模式和伪分布式

    实验主题:武汉理工大学云计算应用 - Hadoop单机模式与伪分布式 **实验目的与意义:** 本次实验旨在让学生理解并掌握Hadoop的两种基础运行模式:单机模式和伪分布式模式。Hadoop是云计算领域的重要组件,主要用于大...

    hadoop单机配置

    hadoop单机配置 hadoop单机配置是指在单个机器上安装和配置hadoop环境的过程。下面将逐步介绍hadoop单机配置的详细过程。 一、安装Linux操作系统 安装Linux操作系统是hadoop单机配置的第一步。在这里,我们选择了...

    hadoop单机配置方法

    ### Hadoop单机配置详解 在大数据处理领域,Apache Hadoop是一个开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在单机环境下配置Hadoop,使其能够运行基本的大数据处理任务。 #### 一、配置...

    Linux下Hadoop单机配置文档

    通过本教程的学习,读者可以了解Hadoop单机模式的配置流程,并能够通过一个简单的WordCount程序来验证Hadoop的安装是否成功。需要注意的是,本文档使用的Hadoop版本较为陈旧,对于实际生产环境中Hadoop的配置和使用...

    hadoop-2.6.0单机模式配置文件

    二、Hadoop 2.6.0单机模式配置 在单机模式下,Hadoop所有组件都运行在同一台机器上,主要用于学习和测试目的。以下是配置步骤: 1. **环境准备**:确保你的系统已经安装了Java环境,Hadoop要求JDK版本至少为1.7。 ...

    Hadoop单机模式和伪分布模式.ppt

    **Hadoop单机模式与伪分布模式详解** Hadoop是一个开源的分布式计算框架,它允许在廉价硬件上处理大规模数据集。Hadoop提供了多种运行模式,以满足不同环境的需求,其中最常见的两种是单机模式(Local Mode)和伪...

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程)

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK&lt;最新版&gt; - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...

    ubuntu hadoop单机模式安装详解.pdf

    【标题】:Ubuntu环境下Hadoop单机模式安装详解 【描述】:本文档详细介绍了如何在Ubuntu操作系统上从零开始安装Hadoop,包括Linux安装、创建Hadoop用户组和用户、JDK安装、修改机器名、SSH服务安装以及实现SSH无...

    hadoop的独立模式、伪分布模式、完全分布式、HA配置文件

    在Hadoop生态系统中,了解和配置不同的运行模式是至关重要的,这些模式包括独立模式、伪分布模式、完全分布式模式以及高可用性(HA)配置。接下来,我们将详细探讨这些模式及其相关的配置文件。 1. **独立模式**: ...

    从零起步搭建Hadoop单机和伪分布式开发环境图文教程.

    5. 配置Hadoop单机模式:修改Hadoop配置文件,让Hadoop运行在单机模式。 6. 测试Wordcount示例:运行Hadoop自带的Wordcount示例,验证环境搭建是否成功。 搭建伪分布式开发环境的步骤大致与单机模式相似,但是需要...

    ubuntu hadoop单机模式安装详解.docx

    总结来说,这个文档详细介绍了在Ubuntu 11.10上安装和配置Hadoop单机模式的步骤,包括Linux的安装、SSH服务的设置、Hadoop的安装与配置,以及启动和检查Hadoop服务的方法。对于初学者来说,这是一个很好的实践教程,...

    安装Hadoop(单机版和集群)步骤

    现在,你已经成功安装并配置了Hadoop的单机版。如果你想构建Hadoop集群,你需要在多台虚拟机上重复以上步骤,并修改`mapred-site.xml`中的`mapred.job.tracker`属性为其中一个节点的IP,同时确保所有节点之间的SSH免...

    hadoop_kerberos 配置权限验证.pdf

    5. **Hadoop 单机模式配置**: - 配置`hdfs-site.xml`以设置副本因子(`dfs.replication`)和其他目录路径。 - 配置`core-site.xml`以设置默认文件系统(`fs.default.name`)和Secondary NameNode的目录。 - 配置...

    Hadoop安装教程_单机_伪分布式配置

    本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式和伪分布式模式。无论您是初学者还是有一定经验的技术人员,本教程都将帮助您顺利完成Hadoop的安装和配置。 #### 二、环境准备 1....

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    2. 单机模式安装:Hadoop 的默认模式为非分布式模式,无需进行其他配置即可运行。非分布式模式即单 Java 进程,方便进行调试。 3. 伪分布式模式安装:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以...

    linuxhadoop搭建手册以及三种集群模式配置

    资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...

    hadoop 单机安装

    本文详细介绍了如何在Linux系统中安装Hadoop单机模式,包括创建用户组、安装SSH服务、安装Java环境、配置环境变量等多个步骤。通过实际操作和测试,可以确保Hadoop能够正常运行,并为后续学习大数据处理技术打下坚实...

    基于单机的Hadoop伪分布式运行模拟实现即其分析过程(完整版)

    ### 基于单机的Hadoop伪分布式运行模拟实现及其分析 #### 一、引言 随着大数据技术的发展,Hadoop已经成为处理大规模数据集的重要工具之一。为了更好地理解和掌握Hadoop的工作原理,通过在单机上模拟实现Hadoop伪...

    hadoop单机模式

    总的来说,Hadoop单机模式提供了一个便捷的环境,让开发者无需复杂的集群配置就能体验和学习Hadoop的核心功能。通过理解和掌握这些配置知识,有助于深入理解Hadoop的工作机制,并为后续的分布式部署打下坚实基础。

Global site tag (gtag.js) - Google Analytics