Python 性能分析的几个方法，找到你代码中的那个她！

 import random import string  def generate_random_string(length):     """生成一个由小写字母和数字组成的随机字符串。"""     letters_and_digits = string.ascii_letters + string.digits     return ''.join(random.choice(letters_and_digits) for _ in range(length)) ​ def generate_random_file(filename, num_lines, line_length):     """生成一个指定数量和长度的随机行文件。"""     with open(filename, 'w') as f:         for i in range(num_lines):             random_line = generate_random_string(line_length) + '\n'             f.write(random_line) ​ if __name__ == '__main__':     #生成1000000行，每行1000个字符     generate_random_file('random.txt', 1_000_000, 1000)  

 import re ​ def baseline():     num_total_matches = 0     pattern1 = r"[0-9]{1}bob" # 正则表达式     pattern2 = r"[0-9]{1}rob" # 正则表达式          with open('random.txt', 'rt') as f:         for line in f:             line = line.lower()  # 将文本全部为小写。             for pattern in [pattern1, pattern2]:                 # 在字符串中找到模式的所有匹配项                 matches = re.findall(pattern, line) ​                 # 统计出现的次数                 num_matches = len(matches)                 num_total_matches += num_matches                  return num_total_matches

 from profilehooks import profile ​ # stdout=False -> don't print anything in the terminal # filname -> path to the output file with profiling results @profile(stdout=False, filename='baseline.prof') def baseline():     ...

 python -m gprof2dot -f pstats <profiling-results-file> | dot -Tpng -o output.png

 import graphviz      def make_png(input_file_name, output_file_name):     dot = graphviz.Source.from_file(input_file_name)     dot.render(outfile=output_file_name)      if __name__ == '__main__':     make_png('file.dot', 'file.svg')  # 还支持 .png、.jpg 等格式。

 def single_pattern():     num_total_matches = 0     pattern = r"[0-9][rb]ob"  # 我们现在只有一个搜索          with open('random.txt', 'rt') as f:         for line in tqdm(f, total=1_000_000):             line = line.lower()             # 在字符串中找到模式的所有匹配项             matches = re.findall(pattern, line) ​             # 计算比赛的数量             num_matches = len(matches)             num_total_matches += num_matches              return num_total_matches

 def wasted_efforts():     num_total_matches = 0     # 我们使用编译后的正则表达式     pattern1 = re.compile(r"[0-9]{1}rob", flags=re.IGNORECASE)     # 我们还使用不区分大小写的情况。     pattern2 = re.compile(r"[0-9]{1}bob", flags=re.IGNORECASE)          with open('random.txt', 'rt') as f:         # 我们将行加载到一个块中，并一次性处理。         chunk = []         for line in tqdm(f, total=1_000_000):             chunk.append(line)                          if len(chunk) == 1000:                 chunk_str = ''.join(chunk)                 for pattern in [pattern1, pattern2]:                     # 在字符串中找到模式的所有匹配项                     matches = re.findall(pattern, chunk_str) ​                     # 计算数量                     num_matches = len(matches)                     num_total_matches += num_matches                                      chunk = [] ​     # 尽管我们修改了代码，但这段代码仍然和原始版本一样慢。     return num_total_matches

 from multiprocessing import Pool ​ def calc_num_matches(string):     # 我们为我们的池对象创建一个单独的函数     # 并行应用于文件中的每一行     pattern = r"[0-9]{1}[rb]ob"     return len(re.findall(pattern, string)) ​ def chunks_single_pool():     num_total_matches = 0          pool = Pool(8)  # 进程数量应该小于或等于 CPU 核心数。          with open('random.txt', 'rt') as f:         chunk = []         # 我们将行加载到列表中         for line in tqdm(f, total=1_000_000):             line = line.lower()             chunk.append(line)                          if len(chunk) == 1000:                 # 然后我们并行地将我们的 `calc_num_matches` 函数应用于每一行                 num_ind_matches = pool.map(calc_num_matches, chunk)                 # 将所有独立匹配项相加。                 num_matches = sum(num_ind_matches)                 num_total_matches += num_matches ​                 chunk = []          return num_total_matches