Python性能优化-Profile

Why Profile

即使我们的代码已经非常Pythonic了，但运行效率还是不能满足要求。性能问题符合20/80规则，即20%的代码引起了80%的性能损耗。为了快速定位瓶颈代码，推荐通过Profile来分析，能到达事半功倍的效果。

Python Profile

对于Python，比较常用的Profile工具有三个：

• profile 纯python语言实现，返回函数整体损耗。（自带）[详情]
• cProfile 同profile，部分实现native化，返回函数整体损耗。（自带）
• line_profile 返回函数每行损耗。（第三方）[详情]

Profile Usage

• profile

# 这里使用vsm模型进行测试
from profile import Profile
p = Profile()
p.runcall(vsm, tags[0], tags[1])
p.print_stats()

 #  ncalls 函数总的调用次数
 #  tottime 函数内部（不包括子函数）的占用时间
 #  percall（第一个） tottime/ncalls
 #  cumtime 函数包括子函数所占用的时间
 #  percall（第二个）cumtime/ncalls
 #  filename:lineno(function)  文件：行号（函数）

   212 function calls in 0.002 seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       78    0.000    0.000    0.000    0.000 :0(append)
       40    0.000    0.000    0.000    0.000 :0(count)
        2    0.000    0.000    0.000    0.000 :0(keys)
        3    0.000    0.000    0.000    0.000 :0(len)
       78    0.000    0.000    0.000    0.000 :0(pow)
        1    0.000    0.000    0.000    0.000 :0(range)
        1    0.001    0.001    0.001    0.001 :0(setprofile)
        1    0.000    0.000    0.000    0.000 :0(sqrt)
        1    0.000    0.000    0.002    0.002 profile:0(<function vsm at 0x000000000233A278>)
        0    0.000             0.000          profile:0(profiler)
        1    0.000    0.000    0.000    0.000 vsm.py:12(create_vocabulary)
        2    0.000    0.000    0.000    0.000 vsm.py:17(calc_tag_frequency)
        2    0.000    0.000    0.000    0.000 vsm.py:26(create_vector)
        1    0.000    0.000    0.001    0.001 vsm.py:38(calc_similar)
        1    0.000    0.000    0.001    0.001 vsm.py:52(vsm)

• line_profile

# 这里使用vsm模型进行测试
from line_profiler import LineProfiler
lp = LineProfiler()
lp_vsm = lp(vsm)
lp_vsm(tags[0], tags[1])
lp.print_stats()

# Total Time：测试代码的总运行时间
# Line:代码行号 
# Hits：表示每行代码运行的次数 
# Time：每行代码运行的总时间 
# Per Hits：每行代码运行一次的时间 
# % Time：每行代码运行时间的百分比

Timer unit: 1e-07 s

Total time: 0.000219 s
File: vsm.py
Function: vsm at line 52

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    52                                           def vsm(tag_list1, tag_list2, debug=False):
    53         1         59.0     59.0      2.7      count = len(tag_list1) + len(tag_list2)
    54         1        123.0    123.0      5.6      vocabulary = create_vocabulary(tag_list1, tag_list2)
    55         1        677.0    677.0     30.9      vector1 = create_vector(calc_tag_frequency(tag_list1), vocabulary)
    56         1        530.0    530.0     24.2      vector2 = create_vector(calc_tag_frequency(tag_list2), vocabulary)
    57         1        777.0    777.0     35.5      similar = calc_similar(vector1, vector2, count)
    58         1         24.0     24.0      1.1      return similar

Profile GUI

虽然Profile的输出已经比较直观，但还是推荐保存profile结果，然后使用图形化工具从不同维度进行分析，更快地找出瓶颈代码。
常用的Profile图形化工具有：

• VisualPyTune
  下载地址：http://code.google.com/p/visualpytune/downloads/list
  VisualPyTune

• QCacheGrind
  下载地址：https://jaist.dl.sourceforge.net/project/qcachegrindwin/0.7.4/qcachegrind074-x64.zip

QCacheGrind

• RunSnakeRun
  官网：http://www.vrplumber.com/programming/runsnakerun/
  RunSnakeRun