[HDFS]8019[dfs.ha.zkfc.port]ZooKeeper FailoverController,用于NN HA
[HDFS]8020[fs.defaultFS]接收Client连接的RPC端口,用于获取文件系统metadata信息
[HDFS]8480[dfs.journalnode.http-address]HTTP服务
[HDFS]8485[dfs.journalnode.rpc-address]RPC服务
[HDFS]9000[fs.default.name]IPC
[HDFS]9001[mapred.job.tracker]IPC
[HDFS]50010[dfs.datanode.address]DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
[HDFS]50020[dfs.datanode.ipc.address]DATANODE的RPC服务器地址和端口
[HDFS]50030[mapred.job.tracker.http.address]JOBTRACKER的HTTP服务端口
[HDFS]50060[mapred.task.tracker.http.address]TASKTRACKER的HTTP服务端口
[HDFS]50070[dfs.namenode.http-address]NAMENODE的HTTP服务端口
[HDFS]50470[dfs.namenode.https-address]NAMENODE的HTTPS服务端口
[HDFS]50075[dfs.datanode.http.address]DATANODE的HTTP服务端口
[HDFS]50475[dfs.datanode.https.address]DATANODE的HTTPS服务端口
[HDFS]50090[dfs.secondary.http.address]辅助DATANODE的HTTP服务端口
[HDFS]50100[dfs.backup.address]IPC
[HDFS]50105[dfs.backup.http.address]Backup/Checkpoint node
[YARN]8030[yarn.resourcemanager.scheduler.address]scheduler组件的IPC端口
[YARN]8031[yarn.resourcemanager.resource-tracker.address]IPC
[YARN]8032[yarn.resourcemanager.address]RM的applications manager(ASM)端口
[YARN]8033[yarn.resourcemanager.admin.address]IPC
[YARN]8040[yarn.nodemanager.localizer.address]localizer IPC
[YARN]8041[yarn.nodemanager.webapp.address]HTTP服务端口
[YARN]8042[yarn.nodemanager.address]NM中container manager的端口
[YARN]8088[yarn.resourcemanager.webapp.address]HTTP服务端口
[YARN]10020[mapreduce.jobhistory.address]IPC
[YARN]19888[mapreduce.jobhistory.webapp.address]HTTP服务端口
[HBase]60000[hbase.master.port]IPC
[HBase]60010[hbase.master.info.port]HTTP服务端口
[HBase]60020[hbase.regionserver.port]IPC
[HBase]60030[hbase.regionserver.info.port]HTTP服务端口
[Hive]9083[PORT]Metastore
[Hive]10000[HIVE_SERVER2_THRIFT_PORT]HiveServer
[ZooKeeper]2181[clientPort]对客户端提供服务的端口
[ZooKeeper]2888[server.x]follower用来连接到leader,只在leader上监听该端口
[ZooKeeper]3888[server.x]用于leader选举的。只在electionAlg是1,2或3(默认)时需要
分享到:
相关推荐
### Hadoop默认端口清单详解 #### Hadoop概述 Hadoop是一个开源软件框架,用于分布式存储和处理大型数据集。其核心组件包括HDFS(Hadoop Distributed File System)、MapReduce和YARN(Yet Another Resource ...
在Hadoop生态系统中,端口配置对于集群的正常运行至关重要,因为它们决定了各个组件之间的通信方式。本文将详细解析Hadoop中常用的端口及其配置,包括HDFS、MapReduce以及其他的次要服务端口。 首先,我们关注HDFS...
在搭建和管理Hadoop集群时,了解各个组件的端口设置是至关重要的。Hadoop作为一个分布式计算框架,其核心组件包括HDFS(Hadoop Distributed File System)和YARN(Yet Another Resource Negotiator)。此外,Ambari...
端口 作用 9000 fs.defaultFS,如:hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address,DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode....
8. **配置Hadoop核心参数**:编辑`core-site.xml`,设置HDFS的默认名称节点和端口: ``` <name>fs.default.name <value>hdfs://localhost:9000 ``` 9. **配置HDFS参数**:编辑`hdfs-site.xml`,设置副本...
7. **监控与维护**:安装完成后,可以使用Hadoop自带的Web UI(NameNode的50070端口,ResourceManager的8088端口)来监控集群状态,定期检查日志以确保一切运行正常。 总之,Hadoop 3.3.1的Windows版本和winutils...
需要注意的是,配置过程中可能会遇到一些问题,如权限问题、端口冲突等,解决这些问题通常需要查阅官方文档或社区支持。同时,随着Hadoop版本的更新,配置方法可能会有所变化,因此保持对最新版本的了解也是很重要的...
3. **配置Hadoop**:根据你的需求,编辑`conf`目录下的配置文件,如设置HDFS的存储路径、内存分配、端口等。 4. **格式化HDFS**:首次使用时,需要使用`winutils.exe`来格式化HDFS,这将创建Hadoop的分布式文件系统...
- 确保Hadoop的配置文件(如`core-site.xml`和`hdfs-site.xml`)正确设置,特别是HDFS的路径和端口信息。 - 安全性方面,Windows可能需要额外的防火墙或安全软件配置,以允许Hadoop服务正常通信。 - 考虑使用Docker...
9. **故障排查与维护**: 使用hadoop.dll和winutils.exe时,可能会遇到各种问题,如文件权限错误、端口冲突等。了解如何诊断和解决这些问题,是确保Hadoop在Windows上稳定运行的关键。 总的来说,理解和掌握Hadoop ...
这些文件定义了HDFS的地址、端口以及文件系统的参数,确保你的应用程序能够连接到Hadoop集群。 总的来说,理解和正确处理`winutils.exe`和`hadoop.dll`对于在Windows上进行Hadoop开发至关重要。通过遵循上述步骤,...
在实际操作中,可能会遇到一些常见的问题,如端口冲突、权限问题或是依赖库缺失。解决这些问题通常需要仔细检查日志输出,调整配置文件,或者安装缺失的库。总的来说,虽然在Windows上运行Hadoop比在Linux上复杂,但...
这里设置了默认文件系统的地址为本地主机的9000端口。 3. **hdfs-site.xml**: 这个文件用于配置HDFS(Hadoop Distributed File System)的相关参数。添加如下配置: ```xml <name>dfs.replication <value>1...
在Hadoop这个分布式计算框架中,HDFS(Hadoop Distributed File System)和MapReduce是两个核心组件,它们共同构建了大数据处理的基础架构。HDFS提供了高容错性的分布式存储,而MapReduce则提供了大规模数据集的并行...
- 注意防火墙设置,确保Hadoop服务所需的端口(如9000、50070等)开放。 总之,Windows版的Hadoop虽然相比Linux环境更复杂,但通过适当的配置和调试,可以在Windows 10上成功搭建并运行Hadoop集群。这对于学习和...
在探讨Hadoop1.x与Hadoop2.x配置的异同之前,我们首先简要回顾一下GridGain In-Memory HDFS的特性,这是基于行业首个高性能双模式内存文件系统,完全兼容HDFS。GridGain FileSystem(GGFS)作为Hadoop HDFS的即插即...
在集群环境中,还需要确保防火墙设置允许Hadoop相关端口通信,如NameNode的8020端口,DataNode的50010和50020端口,以及JobTracker的8032端口等。 总结来说,Hadoop是一个强大的分布式计算框架,通过HDFS和...
这里假设你的NameNode正在本地运行,并监听9000端口。根据你的实际配置进行调整。 7. **启动Hadoop服务**:现在你可以启动Hadoop的各个服务,如DataNode、NameNode等。使用WinUtils的命令行工具,如`hadoop ...
另外,如果你正在尝试使用Hadoop的HDFS功能,那么还需要配置Hadoop的`core-site.xml`和`hdfs-site.xml`配置文件,以便指定HDFS的地址和端口。 总的来说,`hadoop.dll`和`winutils.exe`是Hadoop在Windows环境下运行...
### Hadoop配置详解 #### 一、环境搭建与配置前准备 **1.1 安装环境** - **操作系统:** Ubuntu 14.04.3 LTS - **Hadoop 版本:** hadoop-2.5.2 或 hadoop-2.6.0 或更高版本 - **Java 版本:** Oracle JDK 7u80 **...