论坛首页 综合技术论坛

使用TCMalloc优化mysql

浏览 3431 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2009-10-11   最后修改:2009-10-12
论坛的数据库…………
不说也罢,直接切入正题。

论坛数据库机器很老
CPU:Intel Pentium III Xeon 700 2MB CPU
MEM:1G

之前有调整过my.cnf的配置,跑了许久,还算稳定。因为不是我装的,configure的参数不知道有没有优化,但是内存小我觉得是比较致命的缺点,而且挂的数据库比较多,并发一高,内存更是严重不足。想了很多缓解压力的办法,前段时间在张晏大大的blog里发现篇博客,了解到TCMalloc可以提高mysql在高并发下的性能。又在网上搜索了许多资料,觉得可行,而且很符合我们的实际情况。

什么是TCMalloc?

    TCMalloc意思是线程缓存的malloc。

    TCMalloc(Thread-Caching Malloc)是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比,TCMalloc在内存的分配上效率和速度要高得多,可以在很大程度上提高服务器在高并发情况下的性能,降低系统负载。

别人翻译的TCMalloc介绍:http://shiningray.cn/tcmalloc-thread-caching-malloc.html

于是乎,今天又做了优化,在此简略记录一下数据,以便日后对比。
开机14天
| Key_read_requests                 | 2088601666 |
| Key_reads                         | 1685046    |
Key_read_requests/Key_reads=1240
1240个请求只有1个从硬盘读取,其他命中缓存。之前有开机时间长的一次看的数据是2000。

TCMalloc安装

编译MYSQL时,configure时不能有这一个参数 with-mysqld-ldflags=-all-static,否则加载失败。

64位操作系统请先安装libunwind库,32位操作系统不要安装。libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能,其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
sudo make CFLAGS=-fPIC install


安装google-perftools
./configure
make
sudo make install


设置并更新动态连接库
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr-local-lib.conf
ldconfig


配置mysql启动脚本
sudo vi /usr/local/web/mysql/bin/mysqld_safe
#在:# executing mysqld_safe下加入以下
export LD_PRELOAD=/usr/local/lib/libtcmalloc.so


重启mysql后查看是否加载成功
lsof -n | grep tcmalloc
#mysqld    11046 mysql  mem       REG       72,1    1808415    4693827 /usr/local/lib/libtcmalloc.so.0.0.0


补充
这里有个别人测试的结果:http://www.javayou.com/diary/18368


有人测试成功32位系统静态编译TCMalloc到Mysql,方法是:

要执行的预编译指令
CFLAGS="-O3"
CXX=g++
CXXFLAGS="-O3 -felide-constructors -fno-exceptions -fno-rtti"

在configure时要加入的参数
--with-mysqld-ldflags=-all-static
--with-mysqld-ldflags=-ltcmalloc
#网上都写成了--with-mysqld-ldflags="-all-static -ltcmalloc",结果make错误,分开写没问题
--enable-thread-safe-client
#有人说必须要

这个我没试过,静态编译虽然效率更高,但是感觉兼容性、稳定性会有问题。

2009.10.11
   发表时间:2009-10-13  
有点问题...缓存缓解内存压力? 一般来说缓存缓解的是I/O压力。。。
0 请登录后投票
   发表时间:2009-10-13  
ray_linn 写道
有点问题...缓存缓解内存压力? 一般来说缓存缓解的是I/O压力。。。


不太明白你说的。TCMalloc的作用是提高内存分配上的效率和速度。
内存分配快,回收快,程序执行的自然快,在高并发下更为明显。
目前我也还在测试。一切以事实说话,几周后做个对比看看。
0 请登录后投票
   发表时间:2009-10-15  
Mysql的 conn 部分好像还是 thread pool 模型。 这部份的性能提高应该比较明显。
0 请登录后投票
论坛首页 综合技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics