百度 AI 模型测试工具 AI Model-Mutator 亮相 Black Hat Europe 2021

AI 技术已经被广泛应用于各行各业。一方面，AI 技术领域火热的研究趋势和高效的开发迭代速度可以应对日益剧增的需求。另一方面，技术的频繁更新和开发的高速迭代对底层的计算框架的安全性带来了冲击。如何确保 AI 计算框架的代码开发质量成为了代码开发过程中必不可少的一部分。

在刚刚结束的 Black Hat Europe 2021 上，百度安全提出了一种新型的基于模型变异的模糊测试工具 AI Model-Mutator。它将模型文件作为数据输入文件，进行变异来测试底层计算框架的代码质量。和功能测试不同的是，它采用的是随机变异，所以可以覆盖一些功能测试不能考虑到的边界问题。和单一 API 测试不同的是，模型测试是从模型文件出发，所以它不是针对单一 API 的，而是针对一组功能路径的。因此可以覆盖一些单一 API 无法测试的路径，比如 Python Binder 部分等。

AI Model-Mutator 提出了一种基于图的模型变异方法。更详细来说，它利用静态代码分析获取模型相关操作的类型和约束条件，然后根据这些操作类型和约束条件进行随机的图遍历和改写。最后，利用生成的变异后的模型文件作为种子对计算框架进行测试。除此以外，AI Model-Mutator 提出了一系列针对模型输入的变异规则来进行有效地模型文件变异。经验证，这些变异规则可以有效地重现 TensorFlow 中已发现的 66 个漏洞。此外，AI Model-Mutator 发现 TensorFlow 6 个新型漏洞并得到 TensorFlow 团队的确认。

百度安全实验室致力于系统安全研究多年，这次推出的新型 AI 模型测试工具在 Black Hat Europe 2021 的亮相只是一个开端。日后会有更多更深层次的研究着眼于 AI 计算框架，为百度的 AI 模型框架基础保驾护航。