hadoop namenode format的作用

今天一同事问重启了hadoop集群后要不要format，我当时想也没想就说，不可以，不然数据都丢失了。后来仔细一想，不对，namenode format貌似不会影响datanode上面的数据，那么namenode format的作用是什么呢，通过代码来看一看吧。

namenode format的类为 org.apache.hadoop.hdfs.server.namenode.NameNode,看看format部分的源码：

private static boolean format(Configuration conf,
      boolean isConfirmationNeeded, boolean isInteractive) throws IOException {
    //这里获取配置文件中dfs.name.dir属性中配置的文件，主要为fsimage
    Collection<File> dirsToFormat = FSNamesystem.getNamespaceDirs(conf);
    //这里获取配置文件中dfs.name.edits.dir属性中配置的文件，主要为edits文件
    Collection<File> editDirsToFormat = 
                 FSNamesystem.getNamespaceEditsDirs(conf);
	。。。
	。。。
    	
    FSNamesystem nsys = new FSNamesystem(new FSImage(dirsToFormat,
                                         editDirsToFormat), conf);
    //这里执行format
    nsys.dir.fsImage.format();
    return false;
  }

 后面调用了FsImage的format：

  public void format() throws IOException {
    //新的layoutVersion
    this.layoutVersion = FSConstants.LAYOUT_VERSION;
    //新的namespaceid
    this.namespaceID = newNamespaceID();
    this.cTime = 0L;
    this.checkpointTime = FSNamesystem.now();
    for (Iterator<StorageDirectory> it = 
                           dirIterator(); it.hasNext();) {
      StorageDirectory sd = it.next();
      //这里正在执行format，删除文件夹，重建文件夹，设置新文件内容
      format(sd);
    }
  }

再来看看format(StorageDirectory )方法做了什么：

void format(StorageDirectory sd) throws IOException {
    //删除current文件夹及其下的所有文件，接着在创建一个新的current文件夹
    sd.clearDirectory(); // create currrent dir
    sd.lock();
    try {
      //将image，edits，namespaceid，layoutVersion等下入current文件夹下
      saveCurrent(sd);
    } finally {
      sd.unlock();
    }
    LOG.info("Storage directory " + sd.getRoot()
             + " has been successfully formatted.");
  }

 

 这里看到format只是对namenode的fsimage，edits等进行删除和重建，并不对datanode有的任何操作，因此不用担心会丢失数据。重新启动集群，datanode向namenode发送了block的信息，namenode就会又得到整个集群的元数据了，并保存在内存中。

下次研究下整个集群的启动过程。。