`

datanode启动开启了那些任务线程

阅读更多

今天开始分析datanode,首先看看datanode开启了哪些任务线程

 

第一类:

org.apache.hadoop.hdfs.server.datanode.DataBlockScanner

TIMED_WAITING  for  java.lang.Thread.sleep

 

第二类:

org.apache.hadoop.hdfs.server.datanode.DataXceiverServer

RUNNABLE  for   sun.nio.ch.ServerSocketChannelImpl.accept

 

第三类

IPC Server Responder

IPC Server listener on 50020

IPC Server handler 0 on 50020

IPC Server handler 1 on 50020

IPC Server handler 2 on 50020

IPC Client (47) connection to /10.0.18.105:54310 from dikar

 

第四类

DataNode: [/home/dikar/hadoop/tmp/dfs/data]

run ----> offerService -----> TIMED_WAITING 在 java.util.LinkedList

 

第五类

refreshUsed-/home/dikar/hadoop/tmp/dfs/data

org.apache.hadoop.fs.DU$DURefreshThread

 

第六类

 Acceptor0 SelectChannelConnector@0.0.0.0:50075

 org.mortbay.thread.QueuedThreadPool$PoolThread

 

分享到:
评论

相关推荐

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    ### Hadoop Datanode启动失败:Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中,用户可能会遇到Datanode启动失败的情况。这一问题通常表现为,在尝试启动Hadoop集群时,Datanode...

    hadoop 源码解析-DataNode

    DataNode 的启动过程由 `secureMain` 方法实现,该方法首先解析命令行参数,然后创建 DataNode 实例并启动它。在 `secureMain` 方法中,会检查是否提供了帮助信息,如果提供了则直接退出程序,否则继续执行 DataNode...

    Hadoop datanode重新加载失败无法启动解决.docx

    Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点,主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...

    DataNode职责.pptx

    "DataNode职责" DataNode是Hadoop分布式文件系统HDFS(Hadoop Distributed File System)的核心组件之一,负责存储和管理数据块。下面是DataNode的职责和相关知识点: 一、 DataNode的职责 DataNode的主要职责是...

    启动Hadoop后 没有DataNode进程 的解决方法

    启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!

    hadoop2.0 2个namenode 2个datanode 部署

    Hadoop 2.0 双 Namenode 双 Datanode 部署 Hadoop 是一个开源的大数据处理框架,它提供了分布式文件系统(HDFS)和Map/Reduce 计算框架。 在这个部署中,我们将使用 Hadoop 2.0 在两个 Ubuntu 服务器上部署双 ...

    12_尚硅谷大数据之HDFS_DataNode1

    4. 初始化新DataNode,执行格式化操作(如果之前未格式化过),并启动DataNode服务。 5. 更新NameNode上的`dfs.hosts`文件,包含新添加的DataNode信息,确保NameNode可以识别并管理新的节点。 通过以上步骤,新...

    【HDFS篇10】DataNode相关概念1

    配置新节点时,要更新IP地址和主机名,清空原有HDFS数据和日志,然后启动DataNode和NodeManager服务。 **退役旧数据节点** 退役DataNode有两种方式:白名单和黑名单。在白名单策略中,只列出允许连接的节点,不在...

    DataNode本地数据存储和管理

    本地数据存储和管理,DataNode的实现包括两部分,一部分是对本地数据块的管理,另一部分,就是和其他的实体打交道。

    Hadoop源代码分析(三五)

    1. **Heartbeat Monitor线程(hbthread)**:心跳线程主要负责监测DataNode的心跳信息。以`heartbeatRecheckInterval`的时间间隔运行`heartbeatCheck`方法,确保DataNode的活性。如果在设定时间内没有收到某个DataNode...

    hadoop client与datanode的通信协议分析

    同时,它还会启动一个ResponseProcessor线程,用于接收DataNode返回的确认信息(ACK)并处理可能出现的错误。这一过程不断循环,直到所有数据包发送完毕。 在写Block的过程中,客户端与DataNode之间的通信主要包括...

    Ambari修改DataNode存储目录

    服务启动后,DataNode将开始在新的目录下读写数据。 8. **验证迁移效果**:再次切换到`hdfs`用户,执行`hdfs fsck /`命令检查HDFS数据的健康状态。如果一切正常,那么迁移过程顺利完成。 9. **监控与故障排查**:...

    HDFS体系结构(NameNode、DataNode详解)

    HDFS体系结构主要由两部分组成:NameNode和DataNode。 NameNode NameNode是HDFS的中心节点,负责管理文件系统的命名空间。它维护着整个文件系统的目录结构、文件权限和数据块的映射关系。NameNode是HDFS的单点故障...

    HDFS的概念-namenode和datanode.pdf

    Namenode并不持久化存储数据块的位置信息,而是依赖Datanode在系统启动时报告其存储的块信息。当客户端需要访问文件时,Namenode会提供文件的块位置信息,客户端据此与相应的Datanode进行交互。 Datanodes是HDFS的...

    【大数据】Hadoop常用启动命令.pdf

    - `hadoop-daemons.sh start datanode`: 启动DataNode,它们是实际存储数据的节点。 - `hadoop-daemons.sh start secondarynamenode`: 启动Secondary NameNode,它负责周期性的NameNode元数据备份。 2. 接下来...

    DataNode-Exporter

    go语言编写的万能采集DataNode jmx指标二进制文件 所有CDH 版本 有DataNode实例机器均可执行。 没有不会报错,会一分钟重试。 采集了以下三类指标 Hadoop:service=DataNode,name=DataNodeActivity Hadoop:service=...

    Hadoop集群搭建(全)

    * Datanode未启动:检查 Datanode 配置文件,检查 Datanode 进程状态 * JobTracker未启动:检查 JobTracker 配置文件,检查 JobTracker 进程状态 * TaskTracker未启动:检查 TaskTracker 配置文件,检查 TaskTracker...

    快速学习-DataNode

    DataNode的主要任务是存储和管理数据块,每个数据块分为两部分:数据文件和元数据文件。元数据包含了数据块的长度、校验和以及时间戳等关键信息。在启动时,DataNode会向NameNode注册,并且每隔一小时定期上报所有...

    Hadoop集群datanode磁盘不均衡的解决方案

    因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的数据迁移至新的hadoop集群,而且datanode节点不能全部上线,其中还可能会出现节点上线或下线的情况,这个时候就很容易出现机器与机器之间磁盘的均衡的情况,...

Global site tag (gtag.js) - Google Analytics