`
eksliang
  • 浏览: 598266 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Hadoop2.5.2安装——单机模式

阅读更多

转载请出自出处:http://eksliang.iteye.com/blog/2185414

一、概述

       Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。

 

二、下载地址

Hadoop 网址http://hadoop.apache.org/       OSC地址 http://www.oschina.net/p/hadoop

下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/

下载的版本是hadoop-2.5.2.tar.gz

 

三、拷贝到/usr/hadoop  解压 hadoop

温馨提示,安装之前必须确保JDK已经安装,因为hadoop是用java写的,依赖于jdk.

[root@localhost hadoop]# pwd
/usr/hadoop
[root@localhost hadoop]# ls
hadoop-2.5.2  hadoop-2.5.2.tar.gz

 

四、修改配置文件 hadoop-env.sh

       Hadoop的配置文件都在/usr/hadoop/hadoop-2.5.2/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第五步测试实例,下面只是安装实际情况修改。

       在hadoop中配置JAVA_HOME,默认的是export JAVA_HOME=${JAVA_HOME}  如果原来在环境变量中配置过,就可用使用默认的,不需修改。

 

五、修改java虚拟机的类存

原来启动JVM时配置的最大内存是512m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小,如果不需要也不必修改。

export HADOOP_CLIENT_OPTS="-Xmx256m $HADOOP_CLIENT_OPTS"

六、运行实例 Hello Hadoop

切换到该安装目录下,建立要上传到hadoop的两个文件 t1.txt、2.txt

mkdir input
cd input
echo "hello world" > t1.txt
echo "hello hadoop" > t2.txt

 运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

./hadoop-2.5.2/bin/hadoop jar /usr/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output

 查看结果如下

[root@localhost hadoop]# cat ./output/*
hadoop  1
hello   2
world   1

 

单机部署就是这么简单!

原文出自:http://my.oschina.net/mynote/blog/93340

 

分享到:
评论

相关推荐

    eclipse开发hadoop2.5.2所用到都jar

    标题 "eclipse开发hadoop2.5.2所用到的jar" 指的是在Eclipse中进行Hadoop 2.5.2开发时所需的特定版本的JAR文件集合。这些JAR文件通常包括以下几个部分: 1. Hadoop Common:这是Hadoop的基础模块,包含了一般用途的...

    Hadoop 2.5.2安装和部署

    本文将详细介绍如何从零开始安装和部署Hadoop 2.5.2版本。以下是详细步骤: 1. **先决条件** 在开始Hadoop的安装之前,确保你有一台或多台Linux服务器(例如Ubuntu、CentOS等),并具备一定的Linux基础操作技能。...

    hadoop-2.5.2.tar.gz

    Hadoop的安装与配置是使用这个压缩包的第一步。通常,我们需要将“hadoop-2.5.2.tar.gz”解压到指定目录,然后进行环境变量配置,包括设置HADOOP_HOME、PATH等。接下来,我们需要配置Hadoop的配置文件,如core-site....

    hadoop 2.5.2 64位native包

    hadoop 2.5.2 64位native包

    hadoop2.5.2window下eclipse环境搭建

    ### hadoop2.5.2在Windows下的Eclipse环境搭建详解 #### 一、Hadoop简介 Hadoop是由Apache基金会所开发的一个开源分布式计算框架,主要用于处理和存储大规模数据集。它通过分布式文件系统(HDFS)和MapReduce编程...

    hadoop2.5.2 +eclipse +win32位环境安装全套资源及说明

    hadoop2.5.2 + eclipse + win32位环境安装及开发环境搭建全套资源及说明 Hi:发帖目的是因为Hadoop开发环境搭建太麻烦了,涉及很多版本和工具组件的问题,自己也走了不少弯路,把资源集中一下,让大家少走弯路,也...

    hadoop 2.5.2 源码

    Hadoop 2.5.2源码分析 Hadoop是一个开源框架,主要用于处理和存储大量数据,它由Apache软件基金会开发并维护。Hadoop 2.5.2是Hadoop发展过程中的一个重要版本,它引入了许多改进和优化,旨在提高系统的稳定性和性能...

    hadoop2.5.2插件

    eclipse环境下集成hadoop2.5.2时候需要的jar包 ant已经编译好了的可以直接用

    Hadoop2.5.2集群安装

    Hadoop2.5.2集群安装知识点梳理: 1. Hadoop集群安装概述: Hadoop集群安装涉及多个步骤,包括准备环境、安装配置Hadoop以及测试集群的运行状态。本文档重点介绍的是基于MRV1架构的Hadoop集群安装,MRV1指的是...

    hadoop 2.5.2安装配置文档教程

    自己整理,亲测,已经安装了几遍,喜欢的可以下载看看,

    hadoop-2.5.2

    在这个场景中,我们关注的是Hadoop的2.5.2版本。这个版本在Hadoop的发展历程中扮演了重要角色,因为它带来了许多改进和优化,使得大数据处理更加高效和稳定。 Hadoop的核心由两个主要组件构成:Hadoop Distributed ...

    2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程

    2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创

    Hadoop高级编程——构建与实现大数据解决方案.rar

    本压缩包“Hadoop高级编程——构建与实现大数据解决方案”将深入探讨如何利用Hadoop进行高效的数据操作,构建实际的大数据解决方案。 一、Hadoop概述 Hadoop是由Apache基金会开发的开源项目,主要由Hadoop ...

    windows64位平台的hadoop2.5.2插件包(hadoop.dll,winutils.exe)

    网上百度的最高只有hadoop2.4的,于是自己想着也编译一版来,于是就基于hadoop2.5.2的源码在windows8 64位系统安装时自己编译的 包含 hadoop.dll hadoop.pdb hadoop.lib hadoop.exp winutils.exe winutils.pdb ...

    hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx

    在搭建Hadoop 2.5.2环境的过程中,我们需要经历几个关键步骤,包括本地模式、伪分布式集群和分布式集群的设置,以及HDFS系统的高可用性配置。首先,确保你的系统已经安装了JDK 1.8,因为Hive等组件需要1.7以上的版本...

    hadoop-2.5.2.zip

    这个名为“hadoop-2.5.2.zip”的压缩包文件提供了预配置的Hadoop 2.5.2环境,特别适用于在Linux操作系统上快速搭建Hadoop集群或进行大数据分析。 Hadoop 2.5.2是Hadoop发展中的一个重要版本,它包含了许多关键的...

    CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码

    在搭建Hadoop 2.5.2环境的过程中,选择CentOS作为操作系统是一个常见的选择,因为其稳定性和与开源软件的良好兼容性。以下是基于CentOS 7.0搭建Hadoop 2.5.2的详细步骤,以及涉及的相关知识点: 1. **系统准备**: ...

Global site tag (gtag.js) - Google Analytics