标准库的效率--适时选择自己实现

最近在测试简单的轻量级线程调度器。从fiber转换到generator，性能是提升了不少，但却在意想不到的地方出现了瓶颈。

在generator本身切换性能测试时，发现它性能非常高，大概单线程里面每秒切换有2亿次以上，比fiber的200-400万次有了质的提高。但是在实现了一个简单的调度器以后，发现性能急骤下降，到了每秒千万次，实现方式是使用标准库提供的list容器。

在测试了c++标准库的std::list和c#的几个list容器以后，发现它们性能都非常低，每秒仅能处理上千万次尾部添加和头部删除操作。简单分析后可以确认，性能降低是由于频繁的分配释放引起的，改用g++的ext/poll_allocactor.h里面的池分配器以后，性能提升一倍，但还是不能满意。最后把要调度的对象本身实现为List节点，因为这些对象调度的次数比分配释放要多得多，这可以方便的做出快速插入和删除，经过C#上的测试已经可以达到每秒近2亿次generator调度，这才是产品级的效率，足以和erlang的切换性能抗衡。

标准库提供的list容器开销主要是在分配释放上，如果你的对象并不需要频繁分配释放，但却要频繁放入容器和从容器中移除，还是自己实现吧。

评论

4 楼 dayn9 2008-06-04  

请教：C++中generator用什么实现？
另外，libevent大概不支持文件异步io吧？

3 楼 qiezi 2008-04-30  

哦。我的意思是说使用池也只是少量提升性能而已，对于有些应用来说绝对不要使用这些库，比如只是频繁改变list容器中对象的位置，简单的写法可以是这样的：

class Task
{
};

std::list<Task*> tasks;
tasks.push_back(new Task);
while(true)
{
  Task* task = tasks.front();
  tasks.pop_front();
  tasks.push_back(task);
}

这种操作会不断分配释放List节点，即便是对象池也会有开销，不如写成这样：

class Task
{
  Task* prev, next;
};

把链表和对象放在一起，这样这种操作每次只需要修改这两个指针，而且移除一个对象也是O(1)的，效率可以提高不少。

2 楼 inshua 2008-04-29  

使用对象池可以吗, 老的对象不销毁

1 楼 yawl 2008-04-28  

如果对象的生命周期适合"allocate many objects and then destroy all of them"这种模型的话， boost_pool是个很好的选择：

http://seclib.blogspot.com/2005/12/compare-performance-of-malloc-and.html

http://seclib.blogspot.com/2005/12/good-experience-with-boost-memory-pool.html