`
sunasheng
  • 浏览: 122748 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

为hadoop集群安装SSH(ubuntu 11)

阅读更多

 

<1> hadoop 集群安装 SSH

安装hadoop 集群时,需要专门指定一个服务器作为主节点,这个服务器会常驻 NameNode JobTracker 守护进程,它也将作为一个基站,负责联络并激活所有从节点上的 DataNode TaskTracker 。因此我们要为主节点定义一种手段,使他能够远程的访问到集群中的每个节点。因此, Hadoop 使用了无口令的 SSH 协议。

<2>定义一个公共账号

hadoop-user

<3>SSH的安装

·切换到root 用户    su root 

·安装SSH                sudo apt-get install ssh

· ubuntu服务器上生成私钥和公钥           ssh-keygen

显示:Enter file in which to save the key (/root/.ssh/id_rsa): 

这里是问你 私钥和公钥 存放在什么地方,回车表示默认

显示:Created directory '/root/.ssh'.

这里是让你设置密码,输入自己的密码,一定要记住啊。(4 位以上)

显示:Enter same passphrase again

再次输入密码,然后回车

显示:

Your identification has been saved in /root/.ssh/id_rsa.

你的私钥存放位置/root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

你的公钥存放位置/root/.ssh/id_rsa.pub

然后地下就是密码的信息。

此时SSH安装完成。

      <4>SSH命令

ssh命令可以用来在远程机器上不经shell提示登录而执行命令。它的语法格式是:sshhostnamecommand。譬如,如果你想在远程 主机penguin.example.net上执行ls/usr/share/doc命令,在shell提示下键入下面的命令:

  1. sshpenguin.example.netls/usr/share/doc 

使用scp命令

scp命令可以用来通过安全、加密的连接在机器间传输文件。它与rcp相似。

把本地文件传输给远程系统的一般语法是:

  1. scplocalfileusername@tohostname:/newfilename 

localfile指定源文件,username@tohostname:/newfilename指定目标文件。

要把本地文件shadowman传送到你在penguin.example.net上的账号内,在shell提示下键入(把username替换成你的用户名):

  1. scpshadowmanusername@penguin.example.net:/home/username 

这会把本地文件shadowman传输给penguin.example.net上的/home/username/shadowman文件。

把远程文件传输给本地系统的一般语法是:

  1. scpusername@tohostname:/remotefile/newlocalfile 

remotefile指定源文件,newlocalfile指定目标文件。

源文件可以由多个文件组成。譬如,要把目录/downloads的内容传输到远程机器penguin.example.net上现存的uploads目录,在shell提示下键入下列命令:

  1. scp/downloads/*username@penguin.example.net:/uploads/
分享到:
评论

相关推荐

    ubuntu下安装hadoop集群

    ubuntu下安装hadoop集群,设置ssh对其他node无密码访问

    Linux下Hadoop集群安装指南

    在开始安装 Hadoop 集群之前,我们需要安装 VMware 和 Ubuntu Linux 作为操作系统。这一步骤非常重要,因为 Hadoop 集群需要在 Linux 环境下运行。首先,我们需要安装 VMware,然后再安装 Ubuntu Linux。对于 64 位...

    hadoop集群安装手册

    【Hadoop集群安装手册】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储海量数据。本手册将详细介绍如何在5台虚拟机上手动安装和配置Hadoop集群,供初学者和专业人士参考。 ### 安装...

    基于Ubuntu的Hadoop简易集群安装与配置

    ##### 3.3 基于Ubuntu 14.04.5的Hadoop集群安装与配置 ###### 3.3.1 安装JDK - 在三台Ubuntu机器上安装JDK 1.6或更高版本。 - 设置环境变量,确保Hadoop能够正确识别JDK路径。 ###### 3.3.2 安装SSH免密登录 - 在...

    Hadoop集群安装指南

    该指南涵盖了安装VMWare Workstation 10、配置Ubuntu Kylin操作系统、安装和配置Hadoop集群等多个方面的内容。为了方便理解,下面将详细解释文档中提到的知识点。 首先,安装VMWare Workstation 10是一个步骤,用于...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    Hadoop集群自动安装

    2. **操作系统安装与配置**:选择一个支持Hadoop的操作系统,如Ubuntu、CentOS等,然后进行必要的系统配置,包括设置SSH无密码登录、时钟同步、防火墙规则等。 3. **Java安装**:Hadoop依赖Java运行环境,因此需要...

    Hadoop集群搭建教程(ubuntu) (1).docx

    详细的Hadoop集群搭建过程,有6部分,前提是能连接网络,前三部都是很简单免密要仔细看,推荐JAVA版本1.8,Hadoop版本2.2.7 这两个版本都是稳定的

    在Ubuntu上配置Hadoop集群

    ### 在Ubuntu上配置Hadoop集群的关键知识点 #### 一、任务概述 本文档旨在指导用户如何在Ubuntu系统上搭建一个分布式的Hadoop集群。通过详细的操作步骤和注意事项,确保读者能够顺利地完成集群的配置。 #### 二、...

    hadoop集群搭建文档资料

    Hadoop集群的搭建是一项技术性很强的任务,涉及到多个组件的配置和优化。以下是对"hadop集群搭建文档资料"的详细解析: 1. **Hadoop概述**:Hadoop由Apache基金会开发,基于Java语言,设计为分布式计算系统,它支持...

    Hadoop集群搭建及Hive的安装与使用

    本教程将详细介绍如何搭建Hadoop集群以及安装和使用Hive。 首先,我们来了解Hadoop集群的搭建步骤: 1. **环境准备**:确保所有节点的操作系统一致,通常选择Linux发行版,如Ubuntu或CentOS。安装Java开发套件...

    2_2 hadoop集群安装部署.pdf

    Hadoop集群安装部署的知识点总结如下: 1. Hadoop集群安装部署的目标: - 掌握Hadoop的集群安装配置方法; - 掌握SSH配置方法; - 掌握Hadoop集群服务启动与停止; - 会使用Hadoop集群运行简单的MapReduce计算...

    hadoop集群搭建(超级详细)

    这里以Ubuntu为例,更新系统并安装必要的工具,如SSH、JDK和Git: ```bash sudo apt-get update sudo apt-get install -y openssh-server openssh-client java-8-openjdk git ``` 三、Hadoop安装 1. 下载Hadoop ...

    Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc

    本文将详细阐述如何搭建Hadoop集群以及进行MapReduce程序的关键点个性化开发。 首先,我们来看任务1——Hadoop集群的部署。这一步至关重要,因为它为整个大数据处理系统提供了基础架构。在虚拟机中安装Ubuntu Kylin...

    Hadoop ubuntu 9.10 下的 SSH 免登陆

    在IT行业中,分布式计算系统Hadoop是大...理解并掌握在Ubuntu上配置SSH免登陆对于管理Hadoop集群至关重要。这不仅能提高效率,还能减少因手动输入密码带来的潜在安全风险。在实际工作中,这是一项基础但重要的技能。

    Hadoop集群安装配置教程_Hadoop2.62

    【Hadoop集群安装配置教程_Hadoop2.6.0】是针对在Ubuntu和CentOS操作系统上搭建Hadoop集群的详细指南。本教程适用于Hadoop 2.x系列版本,特别是Hadoop 2.6.0及类似版本如Hadoop 2.7.1、Hadoop 2.4.1。它假设读者已经...

    Hadoop集群安装与配置手册

    本文档旨在详细介绍Hadoop集群的安装与配置过程,帮助用户在Ubuntu Linux系统上搭建一个稳定可靠的Hadoop集群。 #### 二、Hadoop简介 Hadoop由三个主要部分组成: 1. **Hadoop Core**:这是Hadoop的核心组件,...

    Hadoop集群环境虚拟机上搭建详解

    总结来说,搭建Hadoop集群环境首先需要准备虚拟机环境,安装操作系统,配置虚拟机工具以便于文件传输,安装并配置JDK环境以支持Java程序的运行,设置SSH免密码登录以便于集群节点之间的安全通信,最后还需要为集群中...

    hadoop集群安装-鲁德性能测试.docx

    【Hadoop集群安装详解】 Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理领域。要深入学习Hadoop集群数据分析技术,首先要搭建一个Hadoop集群环境。这个环境可以通过在多个物理机器或虚拟机上安装和运行...

Global site tag (gtag.js) - Google Analytics