这几天有点时间想要分享一下我学习hadoop的一些经验,希望以此来给想要学习他的朋友们带来些帮助,文笔不够专业,希望广大朋友们多指点、拍砖。
本系列使用
hadoop 1.0.4 版本,在今后的系列中,如果没有特别指出,皆为此版本。
本系列使用
CentOS 6.3 Linux 操作系统,请安装他, 稍后我会写一篇关于此的经验分享。
关于Linux的基本操作,我也会写一些,经验分享帖。当然已经有很多博主写的灰常不错。朋友们可以先搜来看看。
hadoop 要求使用jdk6级以上版本, 我使用的jdk1.6u27。
废话不多说, 去hadoop.apache.org下载此版本吧。
假设你已经安装了 CentOS 6.3 系统, 使用root 新建一个 名称为
hadoop的用户, 当然你也可以用其他你喜欢的用户名。本系列经验分享将会一直使用这个用户名。
在root用户的终端中执行命令 useradd hadoop 创建 用户名为hadoop的Linux用户
安装jdk, 把下载的jdk安装(.bin)程序,复制到你希望安装的地方,我在 / 下创建一个文件夹名称为
cloud-computing, 执行命令
mkdir /cloud-computing
复制jdk安装程序到这个文件夹中 , 执行
./jdk.bin
等待提示完成。
执行./jdk.bin的时候如果提示 权限有问题, 执行
chmod +x jdk.bin
复制 hadoop 安装到此文件夹中, 执行
tar -zxf hadoop.tar.gz
配置环境变量 执行
vi /etc/profile
在尾部加入, 把光标移动到最后一行 按下o键, 开始写
JAVA_HOME=/cloud-computing/jdk1.6.0_27
PATH=$JAVA_HOME/bin:/cloud-computing/hadoop-1.0.4/bin:$PATH
export JAVA_HOME PATH
保存配置 , 按下esc键,按:wq
jdk1.6.0_27和 hadoop-1.0.4请与你的实际情况保持一致。
执行 source /etc/profile 应用刚才的修改。
到此, 第一步我们已经完成了。
第二步,在hadoop-env.sh中指定JAVA_HOME
vi hadoop-1.0.4/conf/hadoop-env.sh
找到JAVA_HOME这个行 去掉前面的 # 修改路径为 /cloud-computing/jdk1.6.0_27
保存
运行执行 Hadoop 如果不提示出错, 恭喜你, 第一步完成。
如有问题请联系project_maker@sina.com。
稍后,我会录制一分此过程的视频, 上传到youku, 会把地址加过来。
- 大小: 3.5 KB
- 大小: 3.9 KB
分享到:
相关推荐
单节点模式下,Hadoop 可以在一台机器上模拟分布式环境,方便用户快速上手和开发。 单节点模式的优点 单节点模式可以在一台机器上模拟分布式环境,方便用户快速上手和开发。用户可以在单节点模式下快速部署和测试 ...
7. 在 Ubuntu 操作系统上搭建 Hadoop 单节点需要完成环境准备、软件安装和配置过程。 8. 配置 SSH 免密钥登录可以确保可以无需密码登录。 9. 修改配置文件,包括 core-site.xml 和其他文件,是搭建 Hadoop 单节点的...
在本教程中,我们学习了 Hadoop 的三种安装方式,包括单机模式、伪分布式模式和分布式模式,每种模式都有其特点和应用场景。同时,我们还学习了安装 SSH 服务器、配置 SSH 无密码登录、安装 JDK 和安装 Hadoop 的...
本文将详细介绍如何搭建多节点 Hadoop 环境,包括安装 Ubuntu 操作系统、安装 Hadoop 软件、配置 SSH 无密码登录、配置 Hadoop 集群等步骤。 一、安装 Ubuntu 操作系统 在开始搭建 Hadoop 环境之前,需要安装 ...
在部署Hadoop 2.x单节点环境时,你需要先下载并安装Hadoop二进制包,然后根据你的硬件和需求调整上述配置文件。完成配置后,启动Hadoop守护进程,包括NameNode、DataNode、ResourceManager和NodeManager。最后,你...
需要注意的是,Hadoop支持三种运行模式:单机单节点模式、单机多节点的伪分布模式和多机多节点分布模式。 二、Hadoop和Eclipse的结合 Hadoop可以与Eclipse集成,以便于项目的开发和调试。首先,需要下载Eclipse,...
通过上述步骤,我们可以成功地在一个单节点上部署并配置Hadoop环境。这不仅有助于深入理解Hadoop的工作原理和技术特点,还能够在实际项目中运用这些知识解决大规模数据处理问题。对于希望深入了解和掌握Hadoop技术的...
1. **MapReduce**:MapReduce是Hadoop的核心计算模型,它将大型任务分解为小的“map”任务,然后在分布式节点上并行处理,最后通过“reduce”阶段整合结果。在案例中,单词统计是一个经典的MapReduce应用,它演示了...
linux入门级资源,对需要配置环境变量的初学者有一定作用,不喜勿喷。谢谢
1. **环境准备**:在安装Hadoop集群之前,你需要有一组服务器作为集群节点,以及一台运行Ansible的控制节点。确保所有节点之间可以互相通信,并在控制节点上安装Ansible。 2. **Ansible配置**:创建一个名为`hadoop...
对于初学者或小型测试环境,双节点Hadoop安装是一个理想的起点,因为其简单易懂,能快速理解Hadoop的工作原理。本篇文档将详细介绍如何在两台机器上配置一个简单的双节点Hadoop集群,即伪分布式模式。 1. **设置IP...
Hadoop 2.8.2 三节点集群安装及 native 编译 本文详细介绍了在 RHEL 6.7 操作系统上安装 Hadoop 2.8.2 三节点...本文详细介绍了 Hadoop 2.8.2 三节点集群的安装步骤和环境准备,适合初学者搭建大数据基础学习环境。
本文档主要介绍 Hadoop 2 的安装过程,特别针对多节点集群环境下的配置方法。 #### 二、环境准备 1. **主机名配置**: - 在 `/etc/hosts` 文件中添加以下内容,用于定义各个节点的主机名。 ``` 192.168.16.201 ...
【Hadoop 单节点伪分布式搭建】是一种适合学习和测试Hadoop环境的简易方式,无需配置复杂的多节点集群。在单节点伪分布式模式下,所有Hadoop服务都在同一个节点上以独立Java进程的方式运行,模拟分布式环境的行为,...
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
《Hadoop应用开发与案例实战(慕课版)》是一门深入探讨大数据处理技术的课程,主要聚焦在Hadoop平台上进行应用开发的实践操作。这门课通过丰富的PPT课件,旨在帮助学习者理解Hadoop的核心概念,掌握其开发技巧,并...
**实验1-安装Hadoop1**\n\n在IT领域,大数据处理是一个不可或缺的部分,而Hadoop作为开源的大数据处理框架,是实现这一目标的重要工具。本实验将引导你完成在CentOS 6操作系统上安装Hadoop的过程,涵盖单机模式、伪...