`
yousky027
  • 浏览: 4622 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

ubuntu集群hadoop配置

阅读更多
1.修改所有机器/etc/hosts
192.168.1.153  liuying002
..

2.在本地机器上生成密码对

[root@sg201 .ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
64:4e:53:ff:4b:f9:e4:34:6c:e0:45:5c:1f:20:c6:81 root@sg201


这时可以 看到在/root/.ssh下生成了私钥id_rsa和公钥id_rsa.pub这两个文件

scp id_rsa.pub root@liuying002:/root/.ssh
cat id_rsa.pub >> authorized_keys
把所有机器中的公钥内容加到authorized_keys
然后把authorized_keys复制到各个机器
scp authorized_keys root@liuying002:/root/.ssh

3.修改2台主机中的hadoop配置文件
masters   liuying002
修改2台主机中的hadoop配置文件
slaves   liuying003

4.tar -zcvf /usr/hadoop.tar.gz hadoop

5.scp hadoop.tar.gz root@liuying002:/usr/local

6.tar -zxvf hadoop.tar.gz

7.hadoop namenode -format
分享到:
评论

相关推荐

    基于Ubuntu的Hadoop简易集群安装与配置

    ### 基于Ubuntu的Hadoop简易集群安装与配置知识点详解 #### 一、绪论 ##### 1.1 研究背景及意义 在当前信息化社会中,随着科技的发展与进步,尤其是互联网技术的普及,我们正处在一个数据爆炸的时代。各行各业都在...

    基于Ubuntu的hadoop集群安装与配置

    "基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置,涵盖Hadoop的基本概念、HDFS(分布式文件系统)、MapReduce(分布式计算模型)、集群架构、NameNode和DataNode的角色...

    在Ubuntu上配置Hadoop集群

    ### 在Ubuntu上配置Hadoop集群的关键知识点 #### 一、任务概述 本文档旨在指导用户如何在Ubuntu系统上搭建一个分布式的Hadoop集群。通过详细的操作步骤和注意事项,确保读者能够顺利地完成集群的配置。 #### 二、...

    ubuntu下安装hadoop集群

    ubuntu下安装hadoop集群,设置ssh对其他node无密码访问

    ubuntu下hadoop配置指南.pdf

    【标题】:“Ubuntu下Hadoop配置指南” 【描述】:本指南主要介绍如何在Ubuntu操作系统上配置Apache Hadoop,包括伪分布式和分布式集群环境的设置,以及如何运行WordCount词频统计程序,以帮助理解MapReduce分布式...

    详解搭建ubuntu版hadoop集群

    【搭建Ubuntu版Hadoop集群详解】 在本文中,我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架,它允许处理和存储大量数据,尤其适合大数据分析。Ubuntu是Linux发行版中的...

    基于Ubuntu的hadoop集群安装与配置.pdf

    【标题】: "基于Ubuntu的hadoop集群安装与配置.pdf" 【内容概要】: 本文档主要介绍了如何在Ubuntu操作系统上安装和配置Hadoop集群,以及Hadoop的基本原理和核心组件。Hadoop是一个开源的分布式计算平台,由Apache...

    ubuntu上hadoop的安装及配置

    在本文中,我们将详细探讨如何在Ubuntu 10.10 (Maverick Meerkat)上通过VMware虚拟机安装并配置Hadoop集群。这个过程涵盖了从搭建虚拟环境到安装必要的软件,以及最终配置Hadoop分布式文件系统(HDFS)和MapReduce服务...

    ubuntu下hadoop配置指南.docx

    在本文中,我们将深入探讨如何在Ubuntu操作系统下配置Apache Hadoop,这是一个广泛用于大数据处理的开源框架。Hadoop基于分布式文件系统HDFS和MapReduce编程模型,能有效处理海量数据。本指南将涵盖实验环境的搭建、...

    ubuntu运行hadoop的wordcount

    - 在实际部署Hadoop集群时,还需考虑更多细节,例如分布式文件系统的配置、NameNode和DataNode的设置等。 通过以上步骤,我们可以在Ubuntu系统上成功部署并运行Hadoop WordCount实例,这对于理解Hadoop的基本工作...

    基于Ubuntu的hadoop集群安装与配置.docx

    在本文中,我们将深入探讨如何在Ubuntu环境下搭建一个基于Hadoop的分布式集群。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大量数据。它的核心组件包括HDFS(Hadoop Distributed File System)和...

    Ubuntu中Hadoop安装配置.rar

    本文基于Docker在ubuntu容器搭建hadoop集群,并进行配置。 查找ubuntu容器 sudo docker search ubuntu 下载ubuntu16.04版本镜像 sudo docker pull ubuntu:16.04 如果需要查看已经下载的镜像 sudo docker images ...

    Ubuntu中Hadoop安装配置.docx

    本文基于Docker在ubuntu容器搭建hadoop集群,并进行配置。 查找ubuntu容器 sudo docker search ubuntu 下载ubuntu16.04版本镜像 sudo docker pull ubuntu:16.04 如果需要查看已经下载的镜像 sudo docker images ...

    hadoop2.6.5+Ubuntu16.04配置指南

    ### Hadoop2.6.5 + Ubuntu16.04 完全分布式集群配置详解 #### 一、概述 在IT行业中,Hadoop是一个广泛使用的开源软件框架,用于分布式存储和处理大型数据集。本文旨在提供一个详尽的指南,帮助用户在Ubuntu 16.04...

    Ubuntu上搭建Hadoop2.x详细文档

    #### Hadoop配置 1. **下载Hadoop**: - 从Apache官网下载Hadoop 2.9.0的tar.gz压缩包。 - 解压到指定目录,例如`/usr/local/hadoop`。 2. **配置Hadoop环境变量**: - 编辑`/etc/profile`文件,添加以下内容:...

    ubuntu搭建hadoop

    解压后,将Hadoop配置文件夹`etc/hadoop`软连接到`/etc`目录,便于管理。例如:`sudo ln -s /path/to/hadoop/etc/hadoop /etc/hadoop`。 配置Hadoop涉及几个关键的XML文件,如`core-site.xml`, `hdfs-site.xml`, `...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    两台 Ubuntu 机器实现 Hadoop 集群

    标题 "两台 Ubuntu 机器实现 Hadoop 集群" 提到的是在两台运行 Ubuntu 操作系统的计算机上搭建 Hadoop 分布式集群的过程。Hadoop 是一个由 Apache 软件基金会开发的开源框架,主要用于存储和处理大规模数据。在 ...

Global site tag (gtag.js) - Google Analytics