转载请出自出处:http://eksliang.iteye.com/blog/2185414
一、概述
Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。
二、下载地址
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop
下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/
下载的版本是hadoop-2.5.2.tar.gz
三、拷贝到/usr/hadoop 解压 hadoop
温馨提示,安装之前必须确保JDK已经安装,因为hadoop是用java写的,依赖于jdk.
[root@localhost hadoop]# pwd /usr/hadoop [root@localhost hadoop]# ls hadoop-2.5.2 hadoop-2.5.2.tar.gz
四、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在/usr/hadoop/hadoop-2.5.2/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第五步测试实例,下面只是安装实际情况修改。
在hadoop中配置JAVA_HOME,默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过,就可用使用默认的,不需修改。
五、修改java虚拟机的类存
原来启动JVM时配置的最大内存是512m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小,如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx256m $HADOOP_CLIENT_OPTS"
六、运行实例 Hello Hadoop
切换到该安装目录下,建立要上传到hadoop的两个文件 t1.txt、2.txt
mkdir input cd input echo "hello world" > t1.txt echo "hello hadoop" > t2.txt
运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数
./hadoop-2.5.2/bin/hadoop jar /usr/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output
查看结果如下
[root@localhost hadoop]# cat ./output/* hadoop 1 hello 2 world 1
单机部署就是这么简单!
原文出自:http://my.oschina.net/mynote/blog/93340
相关推荐
标题 "eclipse开发hadoop2.5.2所用到的jar" 指的是在Eclipse中进行Hadoop 2.5.2开发时所需的特定版本的JAR文件集合。这些JAR文件通常包括以下几个部分: 1. Hadoop Common:这是Hadoop的基础模块,包含了一般用途的...
本文将详细介绍如何从零开始安装和部署Hadoop 2.5.2版本。以下是详细步骤: 1. **先决条件** 在开始Hadoop的安装之前,确保你有一台或多台Linux服务器(例如Ubuntu、CentOS等),并具备一定的Linux基础操作技能。...
Hadoop的安装与配置是使用这个压缩包的第一步。通常,我们需要将“hadoop-2.5.2.tar.gz”解压到指定目录,然后进行环境变量配置,包括设置HADOOP_HOME、PATH等。接下来,我们需要配置Hadoop的配置文件,如core-site....
hadoop 2.5.2 64位native包
### hadoop2.5.2在Windows下的Eclipse环境搭建详解 #### 一、Hadoop简介 Hadoop是由Apache基金会所开发的一个开源分布式计算框架,主要用于处理和存储大规模数据集。它通过分布式文件系统(HDFS)和MapReduce编程...
hadoop2.5.2 + eclipse + win32位环境安装及开发环境搭建全套资源及说明 Hi:发帖目的是因为Hadoop开发环境搭建太麻烦了,涉及很多版本和工具组件的问题,自己也走了不少弯路,把资源集中一下,让大家少走弯路,也...
Hadoop 2.5.2源码分析 Hadoop是一个开源框架,主要用于处理和存储大量数据,它由Apache软件基金会开发并维护。Hadoop 2.5.2是Hadoop发展过程中的一个重要版本,它引入了许多改进和优化,旨在提高系统的稳定性和性能...
eclipse环境下集成hadoop2.5.2时候需要的jar包 ant已经编译好了的可以直接用
Hadoop2.5.2集群安装知识点梳理: 1. Hadoop集群安装概述: Hadoop集群安装涉及多个步骤,包括准备环境、安装配置Hadoop以及测试集群的运行状态。本文档重点介绍的是基于MRV1架构的Hadoop集群安装,MRV1指的是...
自己整理,亲测,已经安装了几遍,喜欢的可以下载看看,
在这个场景中,我们关注的是Hadoop的2.5.2版本。这个版本在Hadoop的发展历程中扮演了重要角色,因为它带来了许多改进和优化,使得大数据处理更加高效和稳定。 Hadoop的核心由两个主要组件构成:Hadoop Distributed ...
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
本压缩包“Hadoop高级编程——构建与实现大数据解决方案”将深入探讨如何利用Hadoop进行高效的数据操作,构建实际的大数据解决方案。 一、Hadoop概述 Hadoop是由Apache基金会开发的开源项目,主要由Hadoop ...
网上百度的最高只有hadoop2.4的,于是自己想着也编译一版来,于是就基于hadoop2.5.2的源码在windows8 64位系统安装时自己编译的 包含 hadoop.dll hadoop.pdb hadoop.lib hadoop.exp winutils.exe winutils.pdb ...
在搭建Hadoop 2.5.2环境的过程中,我们需要经历几个关键步骤,包括本地模式、伪分布式集群和分布式集群的设置,以及HDFS系统的高可用性配置。首先,确保你的系统已经安装了JDK 1.8,因为Hive等组件需要1.7以上的版本...
这个名为“hadoop-2.5.2.zip”的压缩包文件提供了预配置的Hadoop 2.5.2环境,特别适用于在Linux操作系统上快速搭建Hadoop集群或进行大数据分析。 Hadoop 2.5.2是Hadoop发展中的一个重要版本,它包含了许多关键的...
在搭建Hadoop 2.5.2环境的过程中,选择CentOS作为操作系统是一个常见的选择,因为其稳定性和与开源软件的良好兼容性。以下是基于CentOS 7.0搭建Hadoop 2.5.2的详细步骤,以及涉及的相关知识点: 1. **系统准备**: ...