`
tracyking1986
  • 浏览: 6756 次
  • 性别: Icon_minigender_1
  • 来自: 重庆
社区版块
存档分类
最新评论

Hadoop集群(第2期)_机器信息分布表

 
阅读更多

1、分布式环境搭建

  采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

图1 集群的架构

 

  其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。

2、集群机器详细信息

2.1 Master服务器

名称

详细信息

机器名称

Master.Hadoop

机器 IP 地址

192.168.1.2

最高用户名称( Name

root  

最用用户密码( PWD

hadoop (全小写)

一般用户名称( Name

hadoop (全小写)

一般用户密码( PWD

hadoop (全小写)

2.2 Slave1服务器

名称

详细信息

机器名称

Slave1.Hadoop  

机器 IP 地址

192.168.1.3  

最高用户名称( Name

root  

最用用户密码( PWD

hadoop (全小写)

一般用户名称( Name

hadoop (全小写)

一般用户密码( PWD

hadoop (全小写)

 

2.3 Slave2服务器

名称

详细信息

机器名称

Slave2.Hadoop  

机器 IP 地址

192.168.1.4  

最高用户名称( Name

root  

最用用户密码( PWD

hadoop (全小写)

一般用户名称( Name

hadoop (全小写)

一般用户密码( PWD

hadoop (全小写)

 

2.4 Slave3服务器

名称

详细信息

机器名称

Slave3.Hadoop  

机器 IP 地址

192.168.1.5  

最高用户名称( Name

root  

最用用户密码( PWD

hadoop (全小写)

一般用户名称( Name

hadoop (全小写)

一般用户密码( PWD

hadoop (全小写)

 

  备注:

      添加新用户命令:useradd;修改新用户密码:passwd 用户名

      退出当前用户:exit;         登录root用户:su –

3、集群机器实际布局

  下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。

 

3.1 Hadoop工作集群

  该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。

 

图3.1-1 Hadoop工作集群部署图(1)

 

图3.1-2 Hadoop工作集群部署图(2)

  上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的 Dell,而三台Slave机器则是实验室淘汰的 Lenovo,用一个小路由器他们组成了一个局域网。

 

图3.1-3 路由器特写

3.2 Hadoop实验集群

  为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个"主——TMaster";一个"辅——TSlave"。

 

图3.2-1 Hadoop实验集群部署

 

  上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。

分享到:
评论

相关推荐

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第2期_机器信息分布表 共6页.pdf

    2. **集群环境搭建**:搭建Hadoop集群需要多台安装有Linux操作系统的机器。这些机器通过路由器连接,形成一个局域网,允许节点间的通信和数据传输。在配置过程中,每台机器都需要设置相应的网络信息,例如IP地址,并...

    Hadoop集群pdf文档

    Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置 Hadoop_Hadoop集群(第6期...

    虾皮工作室文档 - Hadoop入门教程

     2)Hadoop集群_第2期_机器信息分布表_V1.1  3)Hadoop集群_第3期_VSFTP安装配置_V1.0  4)Hadoop集群_第4期_SecureCRT使用_V1.0  5)Hadoop集群_第5期_Hadoop安装配置_V1.1  6)Hadoop集群_第5期副刊_JDK...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第6期_WordCount运行详解 共18页.pdf

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第6期_WordCount运行详解 本文档主要讲解了Hadoop集群的MapReduce编程模型和WordCount程序的运行详解。下面是相关的知识点: 1. MapReduce编程模型: * ...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第9期_MapReduce初级案例 共43页.pdf

    【大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第9期_MapReduce初级案例 共43页.pdf】 本文将详细讲解Hadoop集群中的MapReduce初级案例,主要涉及如何利用MapReduce进行数据去重操作。MapReduce是Hadoop...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    6. "细细品味Hadoop_Hadoop集群(第2期)_机器信息分布表.pdf":这可能是关于集群中各节点的角色分配和硬件配置的指南。 7. "细细品味Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置.pdf":JDK是Java开发工具...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第5期副刊_JDK和SSH无密码配置 共9页.pdf

    * Hadoop集群可以应用于大数据处理、数据挖掘、机器学习等领域 * Hadoop集群可以与其他大数据工具集成,例如Spark、Hive、Pig等 六、结论 * Hadoop集群是大数据处理的重要工具 * JDK和SSH无密码配置是Hadoop集群的...

    hadoop入门最好的文档

    2.细细品味Hadoop_Hadoop集群(第2期)_机器信息分布表 3.细细品味Hadoop_Hadoop集群(第3期)_VSFTP安装配置 4.细细品味Hadoop_Hadoop集群(第4期)_SecureCRT使用 5.细细品味Hadoop_Hadoop集群(第5期)_Hadoop...

    Hadoop集群(1-11期)

    Hadoop集群·机器信息分布表(第2期) Hadoop集群·VSFTP安装配置(第3期) Hadoop集群·SecureCRT使用(第4期) Hadoop集群·Hadoop安装配置(第5期) Hadoop集群·JDK和SSH无密码配置(第5期副刊) Hadoop集群·...

    大数据教程之搭建Hadoop集群.zip

    "细细品味Hadoop_Hadoop集群(第2期)_机器信息分布表.pdf"可能包含了集群中各节点的配置信息;"细细品味Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置.pdf"指导如何配置JDK和SSH;"细细品味Hadoop_Hadoop集群...

    细细品味Hadoop_Hadoop集群(第4期)_SecureCRT使用

    ### Hadoop集群与SecureCRT使用详解 #### 一、SecureCRT简介 SecureCRT是一款非常强大的终端仿真程序,它不仅支持SSH(包括SSH1和SSH2),还支持Telnet和rlogin等多种协议。作为一款理想的远程系统连接工具,...

    两台 Ubuntu 机器实现 Hadoop 集群

    标题中的“两台 Ubuntu 机器实现 Hadoop 集群”指的是在两台运行 Ubuntu 操作系统的计算机上搭建一个 Hadoop 分布式计算环境。Hadoop 是一个由 Apache 基金会开发的开源框架,主要用于处理和存储大量数据。它基于 ...

    hadoop_definitive_guide_4th(hadoop权威指南第四版)

    总的来说,通过阅读《Hadoop权威指南第四版》,读者可以系统性地学习Hadoop的各个方面,从基础概念到高级实践,从而具备设计、部署和管理大规模Hadoop集群的能力。书中的代码示例和实际案例有助于读者将理论知识转化...

    细细品味Hadoop_Hadoop集群(第11期)_HBase简介及安装.pdf

    4. **Zookeeper**:Zookeeper 在 HBase 中起到至关重要的作用,主要用于协调 HMaster 和 HRegionServer 之间的通信,监控 HRegionServer 的状态,以及存储 HBase 集群的一些元数据信息。 **图2-1 HBase体系结构** ...

    细细品味Hadoop集群1-5

    特别好的Hadoop教程,基本上等于手把手教了,每一步都非常详细 ...(第2期)_机器信息分布表 (第3期)_VSFTP安装配置 (第4期)_SecureCRT使用 (第5期)_Hadoop安装配置 (第5期副刊)_JDK和SSH无密码配置

    细细品味hadoop

    hadoop教程,hadoop基础, 详细内容可以去博主看,或者下载 Hadoop集群(第1期)_CentOS安装配置 Hadoop集群(第2期)_机器信息分布表 ...... 转自:http://www.cnblogs.com/xia520pi/

    hadoop集群的搭建(apache)

    搭建Hadoop集群的第一步是安装Java环境,因为Hadoop是用Java编写的,所以需要JDK。确保所有服务器上都安装了相同版本的Java,并配置好环境变量。 接着,下载Hadoop的源码或二进制包。通常,我们选择稳定版本,例如...

    Hadoop及Spark集群搭建文档

    搭建Hadoop集群的第一步是安装和配置Hadoop环境。这通常涉及以下几个步骤: 1. 安装Java运行环境:Hadoop基于Java,所以首先需要在所有节点上安装Java。 2. 下载Hadoop:从Apache官网获取最新稳定版本的Hadoop。 3. ...

Global site tag (gtag.js) - Google Analytics