`
superlxw1234
  • 浏览: 551391 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44446
社区版块
存档分类
最新评论

namenode启动时候都做了什么

 
阅读更多

1.	NameNode.main(): 
NameNode namenode = createNameNode(argv, null);
2.	NameNode. createNameNode():
setStartupOption(conf, startOpt);
		// conf.set("dfs.namenode.startup", opt.toString());
NameNode namenode = new NameNode(conf);
	// initialize(conf);
3.	initialize(conf);
InetSocketAddress socAddr = NameNode.getAddress(conf);
		//根据配置文件中fs.default.name的值建立InetSocketAddress
int handlerCount = conf.getInt("dfs.namenode.handler.count", 10);
		//获取hdfs-site.xml中配置的dfs.namenode.handler.count值
// set service-level authorization security policy
		//这段没看懂。。
this.server = RPC.getServer(this, socAddr.getHostName(), socAddr.getPort(),handlerCount, false, conf);
		//建立RPC server
startHttpServer(conf);
		//建立httpServer
this.server.start();  
//start RPC server
startTrashEmptier(conf);
	//回收站处理进程
 
分享到:
评论

相关推荐

    namenode启动失败参考

    当Namenode启动失败时,通常与fsimage和edits文件有关,这些文件是Namenode存储元数据的重要组成部分。以下是一些关于Namenode启动失败的常见原因、解决方案和预防措施。 **1. fsimage文件丢失或损坏** fsimage文件...

    HDFS中NameNode节点的配置、备份和恢复.doc

    HDFS 中 NameNode 节点的配置、备份和恢复 ...HDFS 中 NameNode 节点的配置、备份和恢复是非常重要的, SecondaryNameNode 节点的配置和备份策略可以有效地减少 NameNode 节点的启动时间,并确保 HDFS 集群的高可用性。

    hadoop2.0 2个namenode 2个datanode 部署

    每个服务器都安装了 Hadoop 2.0,两个 Namenode 之间可以实现高可用性和负载均衡。 配置文件 在这个部署中,我们需要配置三个文件:core-site.xml, hdfs-site.xml 和 yarn-site.xml。 * core-site.xml:配置 fs...

    hadoop NameNode 源码解析

    在本文中,我们将深入探讨 Hadoop NameNode 的源码,了解其启动过程、配置加载、RPC 服务端创建、 Namenode 对象初始化等关键步骤。 启动 NameNode ---------------- 在 Hadoop 中,NameNode 的启动过程由 `main` ...

    NameNode机制.docx

    当NameNode启动时会自动进入安全模式,在此模式下,客户端只能执行读操作,不能进行写操作。 ##### 2、安全模式 安全模式的开启和关闭可以通过命令行工具来控制。例如,启用安全模式: ``` hdfs dfsadmin -safe...

    Hadoop Namenode恢复

    在修改完配置文件后,需要重启 Hadoop,检查 namenode 是否启动成功。可以使用 jps 命令查看 namenode 的进程。 四、恢复 namenode 在 namenode 崩溃的情况下,需要模拟 namenode 的崩溃,删除 namenode 的文件夹...

    【HDFS篇08】NameNode故障处理1

    4. 复制SNN的数据到NameNode的数据目录,并删除`in_use.lock`文件,以防止NameNode在启动时因锁文件的存在而失败。 5. 使用`-importCheckpoint`选项启动NameNode守护进程,这会将SNN的数据导入到NameNode的数据目录...

    【HDFS篇07】NameNode和SecondearyNameNode1

    1. **首次启动与格式化:** 当NameNode首次启动或格式化时,会创建两个关键文件——Fsimage和Edits。Fsimage是HDFS文件系统元数据的一个静态快照,包含所有目录和文件的IDNode信息。Edits文件则记录了所有后续的修改...

    11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1

    每次NameNode启动时,会读取Fsimage并结合Edits文件更新内存中的元数据。 - **Edits**:记录了所有对文件系统的更新操作,即自上次检查点以来的所有变更。每次有新的编辑操作,NameNode就会在Edits文件中添加一条...

    HDFS的概念-namenode和datanode.pdf

    Namenode并不持久化存储数据块的位置信息,而是依赖Datanode在系统启动时报告其存储的块信息。当客户端需要访问文件时,Namenode会提供文件的块位置信息,客户端据此与相应的Datanode进行交互。 Datanodes是HDFS的...

    Hadoop集群的搭建.docx

    如果启动后发现NameNode进程未启动,检查是否已执行初始化操作。如果DataNode进程未启动或出现多个DataNode进程,可能是由于在DataNode的临时文件目录下存在旧的ID信息。解决方法有两种:一是手动修改DataNode和...

    Hadoop中namenode和secondarynamenode工作机制讲解

    当namenode启动时,会按照以下流程进行工作: 1. 如果是第一次启动,它会格式化HDFS并创建FSImage文件以及Edits日志文件。 2. 如果不是首次启动,则会加载编辑日志文件和FSImage文件到内存。 3. 客户端会向namenode...

    Hadoop HA集群启动.docx

    Hadoop HA集群的启动涉及到多个组件和服务的启动和配置,包括JournalNode、NameNode、Zookeeper、ResourceManager和NodeManager。每个组件都有其特定的角色和职责,确保整个集群的高可用性和稳定性。正确配置和启动...

    【大数据】Hadoop常用启动命令.pdf

    1. `start-all.sh`: 这个脚本一次性启动所有Hadoop守护进程,包括NameNode、Secondary NameNode、DataNode、JobTracker和TaskTracker。适用于快速启动整个集群,但不推荐在生产环境中首次启动时使用,因为可能忽略...

    第6章-Hadoop HA集群启动.pdf

    检查各节点上的端口和服务状态,确认所有必要的服务都已启动且运行正常。 **步骤十:监控和调试** 通过 Hadoop 管理工具和日志文件持续监控系统状态,及时发现并解决问题。 #### 1.5.2. 实验任务二:HA 的测试 ...

    Hadoop windows启动文件

    6. **检查服务状态**:使用`jps`命令可以查看所有正在运行的Hadoop进程,确认NameNode、DataNode、ResourceManager和NodeManager是否都已经启动。 7. **访问Web UI**:默认情况下,NameNode的Web UI运行在50070端口...

    Hadoop大数据期末考试重点

    4. **Secondary NameNode的作用**:Secondary NameNode并非用于缩短Hadoop集群启动时间,而是辅助NameNode合并编辑日志,减少NameNode的重启时间。 5. **Hadoop的硬件需求与可靠性**:Hadoop设计允许在普通硬件上...

    大数据面试题-.docx

    NameNode通常与SecondaryNameNode不在同一节点启动,以避免同时故障。 3. **集群管理**:集群的性能瓶颈可能来自CPU、网络、磁盘或内存,具体取决于应用场景。管理工具如Puppet、Pdsh、Cloudera Manager和Zookeeper...

Global site tag (gtag.js) - Google Analytics