1、分布式环境搭建
采用4台安装Linux环境的机器来构建一个小规模的分布式集群。
图1 集群的架构
其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。
2、集群机器详细信息
2.1 Master服务器
名称
|
详细信息
|
机器名称
|
Master.Hadoop
|
机器
IP
地址
|
192.168.1.2
|
最高用户名称(
Name
)
|
root
|
最用用户密码(
PWD
)
|
hadoop
(全小写)
|
一般用户名称(
Name
)
|
hadoop
(全小写)
|
一般用户密码(
PWD
)
|
hadoop
(全小写)
|
2.2 Slave1服务器
名称
|
详细信息
|
机器名称
|
Slave1.Hadoop
|
机器
IP
地址
|
192.168.1.3
|
最高用户名称(
Name
)
|
root
|
最用用户密码(
PWD
)
|
hadoop
(全小写)
|
一般用户名称(
Name
)
|
hadoop
(全小写)
|
一般用户密码(
PWD
)
|
hadoop
(全小写)
|
2.3 Slave2服务器
名称
|
详细信息
|
机器名称
|
Slave2.Hadoop
|
机器
IP
地址
|
192.168.1.4
|
最高用户名称(
Name
)
|
root
|
最用用户密码(
PWD
)
|
hadoop
(全小写)
|
一般用户名称(
Name
)
|
hadoop
(全小写)
|
一般用户密码(
PWD
)
|
hadoop
(全小写)
|
2.4 Slave3服务器
名称
|
详细信息
|
机器名称
|
Slave3.Hadoop
|
机器
IP
地址
|
192.168.1.5
|
最高用户名称(
Name
)
|
root
|
最用用户密码(
PWD
)
|
hadoop
(全小写)
|
一般用户名称(
Name
)
|
hadoop
(全小写)
|
一般用户密码(
PWD
)
|
hadoop
(全小写)
|
备注:
添加新用户命令:useradd;修改新用户密码:passwd 用户名
退出当前用户:exit; 登录root用户:su –
3、集群机器实际布局
下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。
3.1 Hadoop工作集群
该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。
图3.1-1 Hadoop工作集群部署图(1)
图3.1-2 Hadoop工作集群部署图(2)
上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的新
Dell,而三台Slave机器则是实验室淘汰的旧
Lenovo,用一个小路由器他们组成了一个局域网。
图3.1-3 路由器特写
3.2 Hadoop实验集群
为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个"主——TMaster";一个"辅——TSlave"。
图3.2-1 Hadoop实验集群部署
上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。
分享到:
相关推荐
2. **集群环境搭建**:搭建Hadoop集群需要多台安装有Linux操作系统的机器。这些机器通过路由器连接,形成一个局域网,允许节点间的通信和数据传输。在配置过程中,每台机器都需要设置相应的网络信息,例如IP地址,并...
Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置 Hadoop_Hadoop集群(第6期...
2)Hadoop集群_第2期_机器信息分布表_V1.1 3)Hadoop集群_第3期_VSFTP安装配置_V1.0 4)Hadoop集群_第4期_SecureCRT使用_V1.0 5)Hadoop集群_第5期_Hadoop安装配置_V1.1 6)Hadoop集群_第5期副刊_JDK...
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第6期_WordCount运行详解 本文档主要讲解了Hadoop集群的MapReduce编程模型和WordCount程序的运行详解。下面是相关的知识点: 1. MapReduce编程模型: * ...
【大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第9期_MapReduce初级案例 共43页.pdf】 本文将详细讲解Hadoop集群中的MapReduce初级案例,主要涉及如何利用MapReduce进行数据去重操作。MapReduce是Hadoop...
6. "细细品味Hadoop_Hadoop集群(第2期)_机器信息分布表.pdf":这可能是关于集群中各节点的角色分配和硬件配置的指南。 7. "细细品味Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置.pdf":JDK是Java开发工具...
* Hadoop集群可以应用于大数据处理、数据挖掘、机器学习等领域 * Hadoop集群可以与其他大数据工具集成,例如Spark、Hive、Pig等 六、结论 * Hadoop集群是大数据处理的重要工具 * JDK和SSH无密码配置是Hadoop集群的...
2.细细品味Hadoop_Hadoop集群(第2期)_机器信息分布表 3.细细品味Hadoop_Hadoop集群(第3期)_VSFTP安装配置 4.细细品味Hadoop_Hadoop集群(第4期)_SecureCRT使用 5.细细品味Hadoop_Hadoop集群(第5期)_Hadoop...
Hadoop集群·机器信息分布表(第2期) Hadoop集群·VSFTP安装配置(第3期) Hadoop集群·SecureCRT使用(第4期) Hadoop集群·Hadoop安装配置(第5期) Hadoop集群·JDK和SSH无密码配置(第5期副刊) Hadoop集群·...
"细细品味Hadoop_Hadoop集群(第2期)_机器信息分布表.pdf"可能包含了集群中各节点的配置信息;"细细品味Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置.pdf"指导如何配置JDK和SSH;"细细品味Hadoop_Hadoop集群...
### Hadoop集群与SecureCRT使用详解 #### 一、SecureCRT简介 SecureCRT是一款非常强大的终端仿真程序,它不仅支持SSH(包括SSH1和SSH2),还支持Telnet和rlogin等多种协议。作为一款理想的远程系统连接工具,...
标题中的“两台 Ubuntu 机器实现 Hadoop 集群”指的是在两台运行 Ubuntu 操作系统的计算机上搭建一个 Hadoop 分布式计算环境。Hadoop 是一个由 Apache 基金会开发的开源框架,主要用于处理和存储大量数据。它基于 ...
总的来说,通过阅读《Hadoop权威指南第四版》,读者可以系统性地学习Hadoop的各个方面,从基础概念到高级实践,从而具备设计、部署和管理大规模Hadoop集群的能力。书中的代码示例和实际案例有助于读者将理论知识转化...
4. **Zookeeper**:Zookeeper 在 HBase 中起到至关重要的作用,主要用于协调 HMaster 和 HRegionServer 之间的通信,监控 HRegionServer 的状态,以及存储 HBase 集群的一些元数据信息。 **图2-1 HBase体系结构** ...
特别好的Hadoop教程,基本上等于手把手教了,每一步都非常详细 ...(第2期)_机器信息分布表 (第3期)_VSFTP安装配置 (第4期)_SecureCRT使用 (第5期)_Hadoop安装配置 (第5期副刊)_JDK和SSH无密码配置
hadoop教程,hadoop基础, 详细内容可以去博主看,或者下载 Hadoop集群(第1期)_CentOS安装配置 Hadoop集群(第2期)_机器信息分布表 ...... 转自:http://www.cnblogs.com/xia520pi/
搭建Hadoop集群的第一步是安装Java环境,因为Hadoop是用Java编写的,所以需要JDK。确保所有服务器上都安装了相同版本的Java,并配置好环境变量。 接着,下载Hadoop的源码或二进制包。通常,我们选择稳定版本,例如...
搭建Hadoop集群的第一步是安装和配置Hadoop环境。这通常涉及以下几个步骤: 1. 安装Java运行环境:Hadoop基于Java,所以首先需要在所有节点上安装Java。 2. 下载Hadoop:从Apache官网获取最新稳定版本的Hadoop。 3. ...