百度AI模型测试工具AI Model-Mutator亮相Black Hat Europe 2021

AI技术已经被广泛应用于各行各业。一方面，AI技术领域火热的研究趋势和高效的开发迭代速度可以应对日益剧增的需求。另一方面，技术的频繁更新和开发的高速迭代对底层的计算框架的安全性带来了冲击。如何确保AI计算框架的代码开发质量成为了代码开发过程中必不可少的一部分。

在刚刚结束的Black Hat Europe 2021上，百度安全提出了一种新型的基于模型变异的模糊测试工具AI Model-Mutator。它将模型文件作为数据输入文件，进行变异来测试底层计算框架的代码质量。和功能测试不同的是，它采用的是随机变异，所以可以覆盖一些功能测试不能考虑到的边界问题。和单一API测试不同的是，模型测试是从模型文件出发，所以它不是针对单一API的，而是针对一组功能路径的。因此可以覆盖一些单一API无法测试的路径，比如Python Binder部分等。

AI Model-Mutator提出了一种基于图的模型变异方法。更详细来说，它利用静态代码分析获取模型相关操作的类型和约束条件，然后根据这些操作类型和约束条件进行随机的图遍历和改写。最后，利用生成的变异后的模型文件作为种子对计算框架进行测试。除此以外，AI Model-Mutator提出了一系列针对模型输入的变异规则来进行有效地模型文件变异。经验证，这些变异规则可以有效地重现TensorFlow中已发现的66个漏洞。此外，AI Model-Mutator发现TensorFlow 6个新型漏洞并得到TensorFlow团队的确认。

百度安全实验室致力于系统安全研究多年，这次推出的新型AI模型测试工具在Black Hat Europe 2021的亮相只是一个开端。日后会有更多更深层次的研究着眼于AI计算框架，为百度的AI模型框架基础保驾护航。