`

在Linux(Ubuntu)上安装Hadoop

 
阅读更多

    1. 安装 SSH

  

   hadoop使用ssh进行通信,需要为ssh配置免密码登录

   

$ apt-get install ssh
$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost

 

   验证安装成功:

$ ssh -version

 

   显示结果:

OpenSSH_5.1p1 Debian-6ubuntu2, OpenSSL 0.9.8g 19 Oct 2007
Bad escape character ‘rsion’.

 

   验证无密码登录:

$ ssh localhost

 

   显示结果:

Linux ubuntu 2.6.31-14-generic
…
Last login: Sun Jun  5 15:40:06 2011 from localhost

   

 

   2. 安装JDK

#下载jdk后,先修改权限
chenwq@ubuntu:~/Downloads$ chmod 777 jdk-6u27-linux-x64.bin

#执行
./jdk-6u27-linux-x64.bin

 

 

   3. 安装Hadoop

   下载Hadoop最新版本:   http://hadoop.apache.org/common/releases.html

   下载然后解压

   

$ tar zxvf hadoop-0.20.0.tar.gz

  

 

   4. 创建一个指向Hadoop的安装目录的环境变量:

  

chenwq@ubuntu:/$ export HADOOP_INSTALL=/home/chenwq/Downloads/hadoop
chenwq@ubuntu:/$ export PATH=$PATH:$HADOOP_INSTALL/bin

  

  

   5. 检查Hadoop的运行

  

chenwq@ubuntu:/$ hadoop version
Hadoop 0.21.0
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.21 -r 985326
Compiled by tomwhite on Tue Aug 17 01:02:28 EDT 2010
From source with checksum a1aeb15b4854808d152989ba76f90fac

 

 

  

1
1
分享到:
评论

相关推荐

    基于Ubuntu的Hadoop简易集群安装与配置

    - 在三台Ubuntu机器上安装JDK 1.6或更高版本。 - 设置环境变量,确保Hadoop能够正确识别JDK路径。 ###### 3.3.2 安装SSH免密登录 - 在Master节点上生成SSH密钥。 - 将SSH公钥复制到其他两台Slave节点,实现SSH免密...

    Ubuntu下的Hadoop安装教程

    Hadoop 需要 Java 运行环境支持,因此在安装 Hadoop 之前,需要安装 JDK。 1. **下载 JDK**:访问 Oracle 官方网站或使用第三方仓库提供的包来安装 JDK。 2. **安装 JDK**:使用 `apt-get install openjdk-7-jdk` ...

    Linux下Hadoop集群安装指南

    在安装 Hadoop 软件包之后,我们需要安装其他必备软件,例如 JDK 和 SSH。我们可以使用以下命令来安装这些软件: sudo apt-get install openjdk-6-jdk sudo apt-get install ssh sudo apt-get install openssh-...

    Linux Ubuntu 18.04安装JDK、Hadoop、Hbase以及图形界面1

    在本文中,我们将详细探讨如何在Linux Ubuntu 18.04系统上安装JDK、Hadoop、Hbase以及配置图形界面。首先,确保你具备了必要的准备工作,包括Ubuntu 18.04系统、JDK 8、Hadoop 2.7.1和HBase 1.6.0的安装文件,以及...

    在Ubuntu上配置Hadoop集群

    ### 在Ubuntu上配置Hadoop集群的关键知识点 #### 一、任务概述 本文档旨在指导用户如何在Ubuntu系统上搭建一个分布式的Hadoop集群。通过详细的操作步骤和注意事项,确保读者能够顺利地完成集群的配置。 #### 二、...

    Linux Ubuntu 18.04安装JDK、Hadoop、Hbase以及图形界面(护眼版)1

    在安装Hadoop之前,通常会创建一个新的用户,如'hadoop',并将其设置为管理员。使用`sudo useradd`和`passwd`命令来创建和设置用户密码。然后,通过`adduser`命令添加用户到sudoers组,以便进行管理操作。 4. **...

    Ubuntu20.04搭建hadoop2.10.0集群.md

    本文档详细介绍了如何在Ubuntu20.04操作系统上搭建Hadoop2.10.0集群,包括环境配置、软件安装、网络设置、集群启动等多个方面。 ##### 1. 服务器环境 集群包含三台服务器: - **us1**:`192.168.94.136` - **us2*...

    Linux下安装Hadoop完全分布式

    本教程提供了一个全面的指南,帮助读者了解如何在Linux环境下安装和配置Hadoop完全分布式集群。需要注意的是,实际部署过程中还可能遇到各种细节问题,如网络配置、权限管理等方面的问题,需要根据实际情况灵活处理...

    单机版hadoop安装(linux)

    在安装完成后,我们需要配置 Hadoop 的环境变量,以便 Hadoop 可以正常工作。在 hadoop-env.sh 文件中添加以下内容: export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH 这些命令将 ...

    ubuntu搭建hadoop单节点.docx

    7. 在 Ubuntu 操作系统上搭建 Hadoop 单节点需要完成环境准备、软件安装和配置过程。 8. 配置 SSH 免密钥登录可以确保可以无需密码登录。 9. 修改配置文件,包括 core-site.xml 和其他文件,是搭建 Hadoop 单节点的...

    实验1 安装Hadoop.doc

    根据给定文件的信息,我们可以总结出以下几个重要的知识点: ...综上所述,通过本次实验,学生不仅能够学会如何在Linux虚拟机中搭建Hadoop集群,还能掌握Hadoop的基本使用技巧,为进一步学习大数据分析打下坚实基础。

    ubuntu下搭建Hadoop

    在Ubuntu系统中搭建Hadoop是一项基础的分布式计算环境配置任务,这个过程涵盖了多个步骤,包括安装Linux操作系统、创建Hadoop用户组和用户、安装JDK、修改机器名、安装SSH服务以及建立SSH无密码登录,最后是安装...

    Linux虚拟机上Hadoop伪分布式安装方法及实例检测

    下面将详细介绍在Ubuntu Linux系统上进行Hadoop伪分布式安装的步骤。 首先,确保你已经安装了VMware Workstation Pro虚拟机软件和Ubuntu版本的Linux系统。在Linux环境下,Hadoop的安装涉及多个环节,包括用户创建、...

    Hadoop安装(ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz)

    Hadoop安装(ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz) Hadoop是Apache开源项目中的一款大数据处理工具,它可以对大规模数据进行存储、处理和分析。Hadoop安装需要具备一定的基础环境,包括...

    ubuntu hadoop单机模式安装详解.pdf

    【描述】:本文档详细介绍了如何在Ubuntu操作系统上从零开始安装Hadoop,包括Linux安装、创建Hadoop用户组和用户、JDK安装、修改机器名、SSH服务安装以及实现SSH无密码登录等步骤。 【标签】:cs (计算机科学) ...

    基于ubuntu安装Hadoop详细过程

    本次实验的目标是在Mac虚拟机上使用Ubuntu系统安装配置Hadoop环境,并运行一个简单的WordCount示例程序,旨在熟悉Hadoop的安装配置流程及基本使用方法。 #### 实验环境 - **操作系统**: Ubuntu (推荐最新稳定版) -...

    ubuntu环境下hadoop环境搭建(伪分布模式)

    在Ubuntu环境下搭建Hadoop伪分布式模式,主要是为了模拟多节点Hadoop集群的环境,以便于学习和测试Hadoop的功能。这个过程涉及到多个步骤,包括必要的资源下载、软件安装、环境配置以及Hadoop服务的启动与验证。以下...

    ubuntu 下的Hadoop配置与运行

    ### Ubuntu 下的Hadoop配置与运行 #### 一、系统配置与环境搭建 ...通过以上步骤,可以在 Ubuntu 系统下完成 Hadoop 的基本配置,并实现单节点运行 WordCount 示例。这为后续探索更复杂的分布式计算场景打下了基础。

Global site tag (gtag.js) - Google Analytics