python代码优化笔记，cython等

本文主要是整理看过的不错的文章，具体内容请参考对应链接

1、内存
__slots__使得不用为每个实例分配一个__dict__，对于数量巨多的小对象内存优化显著（降到1/4）
使用cython， 小对象降到使用__slots__的1/2不是问题，参见：http://cython.readthedocs.io/en/latest/src/reference/extension_types.html


2、速度
各种小的注意事项：https://wiki.python.org/moin/PythonSpeed/PerformanceTips

• 循环外c=time.time;  循环内用 c() 替代带点的操作 time.time()
• 将import写在需要多次调用的函数外面，尤其是函数很简短时

知乎上的讨论numba等：https://www.zhihu.com/question/24695645

通过Python-C-Api，Ctypes，swig或cython等调用c实现（很不错的文章）：https://segmentfault.com/a/1190000000479951



3、cython相关资料
注意：pydev代码提示，对于编译后的动态链接库，需要在Forced Builtins手动添加.so的变量名（对于openCV为cv2，对于自己的模块，比如LC.moduleA.so, 需要添加LC.moduleA）http://www.pydev.org/manual_101_interpreter.html

很赞的第三方（numpy，直接操作numpy的指针等）示例：
http://notes-on-cython.readthedocs.io/en/latest/std_dev.html

cython官网的一些文档：
  入门（很简单）：http://cython.readthedocs.io/en/latest/src/quickstart/build.html
  类：http://cython.readthedocs.io/en/latest/src/reference/extension_types.html
  str相关（注意在cython的class中是可以通过cdef 定义python中的类型的，比如str）：http://cython.readthedocs.io/en/latest/src/tutorial/strings.html
  使用openMP：http://cython.readthedocs.io/en/latest/src/userguide/parallelism.html?highlight=loop
  cython结合numpy：http://cython.readthedocs.io/en/latest/src/tutorial/numpy.html
  Typed Memoryviews（新的传递numpy数组的方式，更清晰，但速度稍慢）：http://cython.readthedocs.io/en/latest/src/userguide/memoryviews.html

  编译选项（string的转换策略，是否启用boundscheck等）：http://cython.readthedocs.io/en/latest/src/reference/compilation.html#compiler-directives

增量编程（主代码在py文件中， 可以转为c的定义在pyx文件中）：http://cython.readthedocs.io/en/latest/src/tutorial/memory_allocation.html

代码效率分析：

cython -a --cplus code.pyx #无需指定额外cpp和h文件路径

参考自：https://zhuanlan.zhihu.com/p/24311879


4、 多线程，多进程
对比测试，GIL知识参见：http://stackoverflow.com/questions/10154487/how-to-get-a-faster-speed-when-using-multi-threading-in-python

多进程: 可以多核并行执行，但是参数是通过序列化和反序列化在进程间传递的，因而，多进程适用于输入，输出参数都很小，但是采用纯python代码进行大量运算的情况

多线程: 由于GIL（Global Interpreter Lock）的存在，只适用于IO密集型程序（不受GIL限制的扩展程序除外，比如在cython中使用nogil）；CPU密集型程序反而会导致性能下降（都需要python解释器进行解释，但只有获得GIL的线程才能够执行）。。。

心得：   先启动无需GIL的线程，再启动需要GIL的线程
需要两个线程，一个是第三方GPU程序，耗时较长，另一个是python程序，耗时稍短，如果一个在主线程中执行，一个通过Thread在另外的线程中执行，将哪一个放在新的线程中？  答案是GPU程序，因为如果将python程序放在另外一个线程中，就需要先启动该线程，该线程释放GIL需要一定的时间，会导致GPU程序的启动时间滞后。 即使这两个程序都放在新的线程中执行，也必须先启动GPU程序，因为GPU程序会立即释放GIL，而python程序会先运行一段时间再释放GIL，只有释放了GIL，主线程中启动GPU程序的命令才会被执行

5、编码问题
关于python2为什么不推荐使用sys.setdefaultencoding("utf-8")：
http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script
个人觉着只要能解决问题就行，毕竟python3默认就是utf-8了