hdfs上的append测试

　　hbase在写入数据之前会先写hlog，hlog目前是sequencefile格式，采用append的方式往里追加数据。之前团队的同学测试关闭hlog会一定程序上提升写hbase的稳定性。而在我之前的想象中，hlog的写入速度应该是稳定的。于是写了个append程序专门测试hdfs的append性能。

　　代码如下：

　　FSDataOutputStream stm = fs.create(path, true,
                conf.getInt("io.file.buffer.size", 4096),
                (short)3, blocksize);
　　String a = make(1000);
　　stm.write(a.getBytes());
　　stm.sync();

　　可以看到，append的过程分两步：先write，然后执行sync()，如果不执行sync，理论上会存在丢失数据的风险。

　　由于不清楚是sync不稳定，还是write本身不稳定。所以对打开和关闭sync均做了测试。
图1：打开sync功能




图2：关闭sync功能



    从图1和图2的结果可以看到打开和关闭sync操作同样不稳定，因此可以判断不稳定因素主要出在write本身上。观察write函数，发现在创建它时需要一个blocksize参数，我的代码中一开始是设置的1MB。于是修改为32MB，绝大部分毛刺消失了。进一步修改为64MB，性能有进一步的提升。如下图
图3：设为32MB



图4：设为64MB



　　这个参数是决定多大的文件在hdfs上可读的。传统的hdfs写文件要满足dfs.block.size大小(默认64MB)才可读。但是在append模式下这个可读的大小是由这里的blocksize决定的。默认值在本地文件系统下由fs.local.block.size决定，在hdfs文件系统下仍由dfs.block.size决定。如果设为1MB，那么hdfs上每append 1MB的大小，就可以读到了。当写入的数据达到这个大小时，会触发namenode执行fsync()操作。而在日志中观察到，每次发生这个操作时，都会造成读响应的变慢。

　　fsync()操作的内容比较多，没有仔细看源码，知道原理的同学联系我吧。

　　从附图中可以看到，append_block_size从1MB提高到32MB，再提高到64MB，都会有一定程序的稳定性改善。再提高就没有用了，因为hlog和dfs.block.size的默认大小都是64MB。不过hbase每1s会强制刷新执行一次fsync，所以会看到hbase在打开日志的情况下每1s会有一次小的响应时间波动

　　结论有两点：
　　1 hdfs的append的确是有一点不稳定的
　　2 修改fs.local.block.size或dfs.block.size可以影响这个不稳定因素。

评论

6 楼 Faeries 2013-03-21  

不错，hadoop0.20.2之后的版本 直接支持sync()?

5 楼 lc_koven 2011-11-28  

hf81970 写道

能问下您用的测试工具是什么吗？这些图都是自动生成的吗？

自己写的，这是excel中的图，很土吧：）

4 楼 hf81970 2011-11-28  

能问下您用的测试工具是什么吗？这些图都是自动生成的吗？

3 楼 lance_123 2011-05-12  

lc_koven 写道

lance_123 写道

fsync()操作就是对当前的文件记录一下日志信息，包括当前的操作标记位op_add，文件的相关属性，以及文件的当前块信息。
代码如下：
  public void logOpenFile(String path, INodeFileUnderConstruction newNode) {
    DeprecatedUTF8 nameReplicationPair[] = new DeprecatedUTF8[] {
      new DeprecatedUTF8(path),
      FSEditLog.toLogReplication(newNode.getReplication()),
      FSEditLog.toLogLong(newNode.getModificationTime()),
      FSEditLog.toLogLong(newNode.getAccessTime()),
      FSEditLog.toLogLong(newNode.getPreferredBlockSize())};
    logEdit(OP_ADD,
            new ArrayWritable(DeprecatedUTF8.class, nameReplicationPair),
            new ArrayWritable(Block.class, newNode.getBlocks()),
            newNode.getPermissionStatus(),
            new DeprecatedUTF8(newNode.getClientName()),
            new DeprecatedUTF8(newNode.getClientMachine()));
  }
作用就是当在写操作失败后，NN会根据日志信息，当操作标记位为op_add，表示失败前正在写操作，于是先启动该数据块的恢复操作，等该文件恢复完后，才会将lease释放掉。
然后回到FSEditLogLoader类中的loadEditRcords()方法有对标记位为op_add的日志进行处理。

非常感谢。我查看了代码。正是因为fsync的这些操作导致append的速度是不平稳的。另外更正一下，append下fsync的间隔在hdfs文件系统上仍然是由dfs.block.size决定的，另外hlog每1s也会强制执行一次fsync操作

是的，一个块只会执行一次fsync操作，用了一个boolean变量来判断是否需要执行fsync，当向NN申请了一个块时，该变量为true，则当flush时会执行fsync操作，之后会将其改为false，直到下一个新申请的块将其设为true后，才会再次执行该操作。

2 楼 lc_koven 2011-05-11  

lance_123 写道

fsync()操作就是对当前的文件记录一下日志信息，包括当前的操作标记位op_add，文件的相关属性，以及文件的当前块信息。
代码如下：
  public void logOpenFile(String path, INodeFileUnderConstruction newNode) {
    DeprecatedUTF8 nameReplicationPair[] = new DeprecatedUTF8[] {
      new DeprecatedUTF8(path),
      FSEditLog.toLogReplication(newNode.getReplication()),
      FSEditLog.toLogLong(newNode.getModificationTime()),
      FSEditLog.toLogLong(newNode.getAccessTime()),
      FSEditLog.toLogLong(newNode.getPreferredBlockSize())};
    logEdit(OP_ADD,
            new ArrayWritable(DeprecatedUTF8.class, nameReplicationPair),
            new ArrayWritable(Block.class, newNode.getBlocks()),
            newNode.getPermissionStatus(),
            new DeprecatedUTF8(newNode.getClientName()),
            new DeprecatedUTF8(newNode.getClientMachine()));
  }
作用就是当在写操作失败后，NN会根据日志信息，当操作标记位为op_add，表示失败前正在写操作，于是先启动该数据块的恢复操作，等该文件恢复完后，才会将lease释放掉。
然后回到FSEditLogLoader类中的loadEditRcords()方法有对标记位为op_add的日志进行处理。

非常感谢。我查看了代码。正是因为fsync的这些操作导致append的速度是不平稳的。另外更正一下，append下fsync的间隔在hdfs文件系统上仍然是由dfs.block.size决定的，另外hlog每1s也会强制执行一次fsync操作

1 楼 lance_123 2011-05-08  

fsync()操作就是对当前的文件记录一下日志信息，包括当前的操作标记位op_add，文件的相关属性，以及文件的当前块信息。
代码如下：
  public void logOpenFile(String path, INodeFileUnderConstruction newNode) {
    DeprecatedUTF8 nameReplicationPair[] = new DeprecatedUTF8[] {
      new DeprecatedUTF8(path),
      FSEditLog.toLogReplication(newNode.getReplication()),
      FSEditLog.toLogLong(newNode.getModificationTime()),
      FSEditLog.toLogLong(newNode.getAccessTime()),
      FSEditLog.toLogLong(newNode.getPreferredBlockSize())};
    logEdit(OP_ADD,
            new ArrayWritable(DeprecatedUTF8.class, nameReplicationPair),
            new ArrayWritable(Block.class, newNode.getBlocks()),
            newNode.getPermissionStatus(),
            new DeprecatedUTF8(newNode.getClientName()),
            new DeprecatedUTF8(newNode.getClientMachine()));
  }
作用就是当在写操作失败后，NN会根据日志信息，当操作标记位为op_add，表示失败前正在写操作，于是先启动该数据块的恢复操作，等该文件恢复完后，才会将lease释放掉。
然后回到FSEditLogLoader类中的loadEditRcords()方法有对标记位为op_add的日志进行处理。