`
eastzhang
  • 浏览: 10389 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Hadoop 应用系列1 安装Hadoop单节点学习环境

 
阅读更多


这几天有点时间想要分享一下我学习hadoop的一些经验,希望以此来给想要学习他的朋友们带来些帮助,文笔不够专业,希望广大朋友们多指点、拍砖。

本系列使用 hadoop 1.0.4 版本,在今后的系列中,如果没有特别指出,皆为此版本。
本系列使用 CentOS 6.3 Linux 操作系统,请安装他, 稍后我会写一篇关于此的经验分享。
关于Linux的基本操作,我也会写一些,经验分享帖。当然已经有很多博主写的灰常不错。朋友们可以先搜来看看。
hadoop 要求使用jdk6级以上版本, 我使用的jdk1.6u27。
废话不多说, 去hadoop.apache.org下载此版本吧。

假设你已经安装了 CentOS 6.3 系统, 使用root 新建一个 名称为hadoop的用户, 当然你也可以用其他你喜欢的用户名。本系列经验分享将会一直使用这个用户名。



在root用户的终端中执行命令 useradd hadoop 创建 用户名为hadoop的Linux用户



安装jdk, 把下载的jdk安装(.bin)程序,复制到你希望安装的地方,我在 / 下创建一个文件夹名称为cloud-computing, 执行命令
mkdir /cloud-computing



复制jdk安装程序到这个文件夹中 , 执行
./jdk.bin
等待提示完成。
执行./jdk.bin的时候如果提示 权限有问题, 执行
chmod +x jdk.bin

复制 hadoop 安装到此文件夹中, 执行
tar -zxf hadoop.tar.gz 


配置环境变量 执行
vi /etc/profile

在尾部加入, 把光标移动到最后一行 按下o键, 开始写
JAVA_HOME=/cloud-computing/jdk1.6.0_27
PATH=$JAVA_HOME/bin:/cloud-computing/hadoop-1.0.4/bin:$PATH
export JAVA_HOME PATH

保存配置 , 按下esc键,按:wq
jdk1.6.0_27和 hadoop-1.0.4请与你的实际情况保持一致。
执行 source /etc/profile 应用刚才的修改。

到此, 第一步我们已经完成了。

第二步,在hadoop-env.sh中指定JAVA_HOME
vi hadoop-1.0.4/conf/hadoop-env.sh
找到JAVA_HOME这个行 去掉前面的 # 修改路径为 /cloud-computing/jdk1.6.0_27

保存

运行执行 Hadoop 如果不提示出错, 恭喜你, 第一步完成。

如有问题请联系project_maker@sina.com。
稍后,我会录制一分此过程的视频, 上传到youku, 会把地址加过来。
  • 大小: 3.5 KB
  • 大小: 3.9 KB
分享到:
评论
15 楼 lipin0412 2013-01-24  
高端了,顶一个,我们也在用。李品报道。
14 楼 wxd83210 2013-01-24  
13 楼 378771992 2013-01-24  
老张顶一个!!
12 楼 yong_hu_ming 2013-01-24  
于泷报道 顶老张
11 楼 chen178337161 2013-01-24  
张老师 顶一个
10 楼 Vegetables 2013-01-23  
 
9 楼 sophie1162 2013-01-23  
张老师,院长来报道~ 
8 楼 252131895 2013-01-22  
顶老师丁丁,我马小龙
7 楼 wdx0210 2013-01-22  
哇哒嘻报道!
6 楼 mtb 2013-01-22  
张老师还记得毛同彬吗?嘿嘿,支持一下
5 楼 wang_hao_long 2013-01-22  
张老师好,我是王皓珑 哈哈
4 楼 hljthyy 2013-01-22  
张老师 顶一个
3 楼 lioncode 2013-01-22  
云杨顶起~
2 楼 淫笑琪 2013-01-22  
忘说了,我是李志博嘿嘿,我用的朋友的账号,我自己懒的注册~
1 楼 淫笑琪 2013-01-22  
张老师顶1个~

相关推荐

    hadoop单节点配置

    单节点模式下,Hadoop 可以在一台机器上模拟分布式环境,方便用户快速上手和开发。 单节点模式的优点 单节点模式可以在一台机器上模拟分布式环境,方便用户快速上手和开发。用户可以在单节点模式下快速部署和测试 ...

    ubuntu搭建hadoop单节点.docx

    7. 在 Ubuntu 操作系统上搭建 Hadoop 单节点需要完成环境准备、软件安装和配置过程。 8. 配置 SSH 免密钥登录可以确保可以无需密码登录。 9. 修改配置文件,包括 core-site.xml 和其他文件,是搭建 Hadoop 单节点的...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    在本教程中,我们学习了 Hadoop 的三种安装方式,包括单机模式、伪分布式模式和分布式模式,每种模式都有其特点和应用场景。同时,我们还学习了安装 SSH 服务器、配置 SSH 无密码登录、安装 JDK 和安装 Hadoop 的...

    hadoop (多节点)环境搭建

    本文将详细介绍如何搭建多节点 Hadoop 环境,包括安装 Ubuntu 操作系统、安装 Hadoop 软件、配置 SSH 无密码登录、配置 Hadoop 集群等步骤。 一、安装 Ubuntu 操作系统 在开始搭建 Hadoop 环境之前,需要安装 ...

    Hadoop 2.x单节点部署学习。

    在部署Hadoop 2.x单节点环境时,你需要先下载并安装Hadoop二进制包,然后根据你的硬件和需求调整上述配置文件。完成配置后,启动Hadoop守护进程,包括NameNode、DataNode、ResourceManager和NodeManager。最后,你...

    Hadoop课程实验和报告——Hadoop安装实验报告

    需要注意的是,Hadoop支持三种运行模式:单机单节点模式、单机多节点的伪分布模式和多机多节点分布模式。 二、Hadoop和Eclipse的结合 Hadoop可以与Eclipse集成,以便于项目的开发和调试。首先,需要下载Eclipse,...

    Hadoop单节点部署指导

    通过上述步骤,我们可以成功地在一个单节点上部署并配置Hadoop环境。这不仅有助于深入理解Hadoop的工作原理和技术特点,还能够在实际项目中运用这些知识解决大规模数据处理问题。对于希望深入了解和掌握Hadoop技术的...

    Hadoop简单应用案例

    1. **MapReduce**:MapReduce是Hadoop的核心计算模型,它将大型任务分解为小的“map”任务,然后在分布式节点上并行处理,最后通过“reduce”阶段整合结果。在案例中,单词统计是一个经典的MapReduce应用,它演示了...

    hadoop的单节点安装与配置

    linux入门级资源,对需要配置环境变量的初学者有一定作用,不喜勿喷。谢谢

    利用ansible 自动 安装Hadoop 集群

    1. **环境准备**:在安装Hadoop集群之前,你需要有一组服务器作为集群节点,以及一台运行Ansible的控制节点。确保所有节点之间可以互相通信,并在控制节点上安装Ansible。 2. **Ansible配置**:创建一个名为`hadoop...

    双节点hadoop安装文档

    对于初学者或小型测试环境,双节点Hadoop安装是一个理想的起点,因为其简单易懂,能快速理解Hadoop的工作原理。本篇文档将详细介绍如何在两台机器上配置一个简单的双节点Hadoop集群,即伪分布式模式。 1. **设置IP...

    hadoop 2.8.2 3节点集群安装及native编译

    Hadoop 2.8.2 三节点集群安装及 native 编译 本文详细介绍了在 RHEL 6.7 操作系统上安装 Hadoop 2.8.2 三节点...本文详细介绍了 Hadoop 2.8.2 三节点集群的安装步骤和环境准备,适合初学者搭建大数据基础学习环境。

    hadoop2 安装

    本文档主要介绍 Hadoop 2 的安装过程,特别针对多节点集群环境下的配置方法。 #### 二、环境准备 1. **主机名配置**: - 在 `/etc/hosts` 文件中添加以下内容,用于定义各个节点的主机名。 ``` 192.168.16.201 ...

    Hadoop单节点伪分布式搭建中文版

    【Hadoop 单节点伪分布式搭建】是一种适合学习和测试Hadoop环境的简易方式,无需配置复杂的多节点集群。在单节点伪分布式模式下,所有Hadoop服务都在同一个节点上以独立Java进程的方式运行,模拟分布式环境的行为,...

    Hadoop三节点集群安装

    Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器

    Hadoop应用开发与案例实战(慕课版)-课件PPT.rar

    《Hadoop应用开发与案例实战(慕课版)》是一门深入探讨大数据处理技术的课程,主要聚焦在Hadoop平台上进行应用开发的实践操作。这门课通过丰富的PPT课件,旨在帮助学习者理解Hadoop的核心概念,掌握其开发技巧,并...

    实验1-安装Hadoop1

    **实验1-安装Hadoop1**\n\n在IT领域,大数据处理是一个不可或缺的部分,而Hadoop作为开源的大数据处理框架,是实现这一目标的重要工具。本实验将引导你完成在CentOS 6操作系统上安装Hadoop的过程,涵盖单机模式、伪...

Global site tag (gtag.js) - Google Analytics