`
ruijf
  • 浏览: 71208 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

hadoop 安装

 
阅读更多

1.centos6 中的portmap 改成了rpcbind

use nfs to store file,and erery node mount to get the files

 
2.修改用户的gid,uid  usermod -g 502 -u 502 hadoop
keep all nodes user "hapdoop" is same uid and gid 
3.masters和slaves区别:
different between masters and slavers

Typically one machine in the cluster is designated as the NameNode and another machine the as JobTracker, exclusively. These are the masters. The rest of the machines in the cluster act as both DataNode and TaskTracker. These are the slaves.

masters 列的是备份的NameNode机器,masters可以为空

4.
5.将masters配置成无密码ssh登陆各节点:将masters上的id_rsa.pub 添加到各个节点的authorized_keys
 setup ssh authorized ,let all slave node access master without password
6.各个节点上的JAVA_HOME的路径设置成hadoop-env.sh里面设定的
 setup env JAVA_HOME,should same to the config in hadoop-env.sh
7.nameNode上启动start-dfs.sh启动HDFS, jobTracker上启动start-mapred.sh启动MapReduce
 start hdfs on namenode:./start-dfs.sh
 start mapreduce on jobTracker:./start-mapred.sh
8.hadoop应用包放在nfs上,各个节点mount到hadoop用户的app目录
 the developed app store on nfs,and echo node mount the app directory
9.启动前格式化dfs: hadoop namenode -format,格式的文件存放在/tmp目录下,不保险最好放到别的目录下,不然下次要重新格式化
 before use hdfs,need to format first:hadoop namenode -format,the formated file are store in /tmp default and the files may be remove ,better to store in other directory
10.jobTracke的Http地址和端口:http://jobtracker:50030
    taskTracke的Http地址和端口:http://slave(1-3):50060
    nameNode的Http地址和端口:http://nameNode:50070
    dataNode的Http地址和端口:http://dataNode:50075
    辅助nameNode的Http地址和端口:http://secondary-nameNode:50090
some http ui address above
分享到:
评论

相关推荐

    Hadoop课程实验和报告——Hadoop安装实验报告

    Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...

    Hadoop安装教程_单机_伪分布式配置

    ### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...

    linux下载,安装,JDK配置,hadoop安装

    ### Linux下载、安装、JDK配置、Hadoop安装相关知识点 #### 一、Linux环境准备与安装 **1.1 Linux版本选择** - **CentOS 6.5**:适用于本教程,是一款稳定且广受支持的企业级操作系统。 **1.2 下载Linux** - **...

    HADOOP安装部署文档

    《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...

    Hadoop安装学习-入门教程

    Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...

    hadoop 安装部署手册

    Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...

    Hadoop安装和配置

    ### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...

    HADOOP安装过程

    ### Hadoop安装过程详解 #### 一、概述 Hadoop是一种能够处理大量数据的大规模分布式存储与计算框架,常用于构建大数据分析平台。本文档基于一位用户的实践经历,详细介绍了如何在虚拟机环境下安装和配置Hadoop的...

    hadoop安装详细文档

    ### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...

    最详尽的Hadoop安装过程

    ### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在CentOS 5.5环境下搭建一个包含1个NameNode节点和2个DataNode节点的Hadoop集群,并通过一...

    Hadoop安装-保你一次成功.pdf

    Hadoop安装-保你一次成功

    Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.61

    【Hadoop安装教程_伪分布式配置_CentOS6.4】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。本教程针对的是在CentOS 6.4操作系统上安装Hadoop 2.6.0的伪分布式配置,这种...

    Hadoop安装部署及教学

    三、Hadoop安装与部署 1. 环境准备:确保具备多台Linux服务器,安装Java环境,配置SSH无密码登录。 2. 下载Hadoop:从Apache官方网站获取最新稳定版本的Hadoop,解压到服务器。 3. 配置环境变量:在`~/.bashrc`或`~/...

    Hadoop安装使用教程0基础!!!易懂!!!

    Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...

    hadoop安装

    Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...

    hadoop安装和配置

    hadoop安装和配置,这份PPT讲诉了如何安装和配置Hadoop

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    实验2-Hadoop安装与HDFS基础实践.nbn.zip

    二、Hadoop安装 1. 环境准备:确保系统为Linux环境,因为Hadoop通常在Linux服务器上运行。同时,需要安装Java环境,因为Hadoop依赖Java运行。 2. 下载Hadoop:访问Apache官方网站下载最新稳定版的Hadoop二进制包。 3...

Global site tag (gtag.js) - Google Analytics