linux的oom killer导致memcached服务下线

   公司部分项目是用python实现的，由于python的内存泄露问题，每两天凌晨均会重启一次python服务，有一次在业务高峰期，python服务的内存大增，导致操作系统的free memory低于/proc/sys/vm/min_free_kbytes设置的值，触发了linux的oom killer，由于在该python服务器上部署有memcached服务，在oom killer的算法下kill了memcached的进程，但是在重启的过程中由于申请不到memcached设置的内存，重启失败，导致依赖该memcached的服务出现大面积延时。

   这里有2个问题：

   1、应尽量解决python内存泄露的问题，其实个人觉得不应该用python做大规模系统，java才是工程化的主流语言，而且java的生态系统更完善

   2、memcached服务应部署到专用的服务器，避免受其它服务影响，一个python进程挂了对集群基本无影响，但是一个memcached进程挂了，影响的面就大了

   通过这件事重新理解了一下linux的free -m命令的含义，第一行是从操作系统角度看系统内存的情况，其中buffer是存放写io的数据，cache是存放读io的数据，操作系统用于优化io读写，第二行是从应用程序看系统内存的情况，通常说的real free memory是指第二行显示的剩余内存，这里面包含有cache和buffer的内存，由于cache和buffer的io数据可以被很快释放，所以一般不影响应用程序申请内存。