`

Hadoop环境搭建

 
阅读更多

1.给hadoop用户赋予和root用户同样的权限

sudo vim /etc/sudoers


 

2.修改hostname

sudo vi /etc/hostname

 

3.修改hosts

sudo vi /etc/hosts


 

4.重启Ubuntu(重启之后,可以尝试ping hostname,比如ping hadoop-0000)

sudo reboot

 

5. Alt + P, put JDK & Hadoop


 

6. 解压JDK & Hadoop

sudo tar zxvf jdk-8u77-linux-x64.tar.gz -C app/
sudo tar zxvf hadoop-2.6.4.tar.gz -C app/



 

7.配置JAVA_HOME & HADOOP_HOME

sudo vi /etc/profile
#setup Java & Hadoop environment
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin


 

8.使环境变量生效

source /etc/profile


 

 9.查看Hadoop文件夹


 

10.配置Hadoop环境

 

修改Hadoop环境的用户和用户组

sudo chown -R hadoop:hadoop hadoop-2.6.4/


 

配置hadoop-env.sh

sudo vi hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77

 

配置core-site.xml

sudo vi core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-0000:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/hadoop-2.6.4/data</value>
    </property>
</configuration>


 

配置hdfs-site.xml

sudo vi hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>


 

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
sudo vi mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


 

配置yarn-site.xml

sudo vi yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-0000</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>


 

配置slaves

sudo vi slaves


 

格式化(格式化一次就行了,否则将导致DataNode无法启动

hadoop namenode -format


 

启动start-dfs.sh


 

 

启动start-yarn.sh


 

配置Windows Hosts

 

输入http://hadoop-0000:50070/


 

  

 

 

  • 大小: 8 KB
  • 大小: 2.7 KB
  • 大小: 6.8 KB
  • 大小: 12.7 KB
  • 大小: 10.9 KB
  • 大小: 10.3 KB
  • 大小: 10.6 KB
  • 大小: 10.9 KB
  • 大小: 54.5 KB
  • 大小: 61.7 KB
  • 大小: 6.1 KB
  • 大小: 15.2 KB
  • 大小: 9.1 KB
  • 大小: 21.8 KB
  • 大小: 9.5 KB
  • 大小: 15.3 KB
  • 大小: 1.6 KB
  • 大小: 126.4 KB
  • 大小: 23.2 KB
  • 大小: 19.1 KB
  • 大小: 2.1 KB
  • 大小: 45.1 KB
分享到:
评论

相关推荐

    hadoop环境搭建

    Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中,我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...

    hadoop环境搭建教程

    Hadoop环境搭建主要包括配置Hadoop相关的配置文件,包括但不限于hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters和slaves文件。 在hadoop-env.sh文件中需要指定Java的安装路径,因为Hadoop...

    Windows上Hadoop环境搭建简介

    在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。...其实,Hadoop环境搭建的主要内容是Cygwin的安装,估计要占总时间的2/3, 其它工作我会手把手的教你,come on,follow me!

    hadoop环境搭建和eclipse开发

    hadoop环境搭建和eclipse开发

    Hadoop环境搭建.pdf

    Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf

    hadoop环境搭建脚本

    hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境

    最详细的Hadoop环境搭建

    ### Hadoop环境搭建详解 #### 一、引言 随着大数据技术的发展,Hadoop作为大数据处理的核心框架之一,其重要性不言而喻。对于初学者来说,掌握Hadoop的基本安装与配置流程是非常重要的第一步。本文旨在提供一份...

    hadoop环境搭建,机器部署以及 Linux 常用命令操作指南

    hadoop 环境搭建、机器部署以及 Linux 常用命令操作指南 本指南将指导用户从头开始搭建 Hadoop 环境,包括虚拟机环境的准备、Linux 基础知识、shell 增强大数据集群环境准备、ZooKeeper 介绍及集群操作网络编程等...

    hadoop环境搭建.docx

    4. 配置Hadoop环境是关键步骤,主要涉及以下几个文件: - `hadoop-env.sh`: 这个文件用于设置Hadoop相关的环境变量,如`JAVA_HOME`,应确保指向正确的JDK安装路径,例如`/home/tools/jdk1.8.0_221`。 - `hdfs-...

    第2集-Hadoop环境搭建 - linux(centos7) - 安装配置jdk1.8.pdf

    Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 JDK1.8 本文档主要介绍了在 CentOS7 环境下搭建 Hadoop 环境,包括安装配置 JDK1.8 的过程。下面是相关知识点的总结: 一、删除自带的 OpenJDK 在 CentOS7 中,...

    1、Hadoop环境搭建.docx

    "Hadoop环境搭建" Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机的安装、操作系统的选择、虚拟机的配置等多个方面。下面是 Hadoop 环境搭建的详细知识点: 一、虚拟机的安装 1.1 VMware 中新建虚拟机的...

    第5集-Hadoop环境搭建 - linux(centos7) - 安装配置scala2.11.8.pdf

    "Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 Scala 2.11.8" 本文主要讲述如何在 CentOS7 环境下搭建 Hadoop 环境,并安装配置 Scala 2.11.8。下面是相关知识点的总结: 1. Hadoop 环境搭建 在 CentOS7 环境下...

    大数据-Hadoop环境搭建(单机)

    大数据-Hadoop环境搭建(单机) 本文档旨在指导读者搭建大数据Hadoop环境,基于CentOS 6.8操作系统,使用JDK 1.8和Hadoop 2.8.2版本。文档涵盖了服务器选择、相关配置、Hadoop环境安装、JDK环境配置、Hadoop环境配置...

    hadoop环境搭建资源

    本资源包含Hadoop环境搭建所需的关键组件,主要为Hadoop 2.7.2和Java Development Kit (JDK) 8u181的Linux版本。 1. **Hadoop 2.7.2**: 这是Hadoop的一个稳定版本,它支持HDFS(Hadoop Distributed File System)和...

    史上最详细的Hadoop环境搭建

    ### Hadoop环境搭建知识点 #### 一、Hadoop的重要性与基础知识 - **Hadoop的地位**:作为大数据处理领域的核心框架之一,Hadoop被广泛应用于数据存储与处理领域,特别是对于大规模数据集的数据处理方面有着不可替代...

Global site tag (gtag.js) - Google Analytics