【论文速读】| 大语言模型是边缘情况模糊测试器：通过 FuzzGPT 测试深度学习库

本次分享论文为：Large Language Models are Edge-Case Fuzzers: Testing Deep Learning Libraries via FuzzGPT

基本信息

原文作者：Yinlin Deng, Chunqiu Steven Xia, Chenyuan Yang, Shizhuo Dylan Zhang, Shujing Yang, Lingming Zhang

作者单位：伊利诺伊大学厄巴纳-香槟分校

关键词：模糊测试、深度学习库、大语言模型、程序合成

原文链接：

https://arxiv.org/abs/2304.02014v1

开源代码：暂无

论文要点

论文简介：这篇论文提出了一种名为 FuzzGPT 的新方法，它利用大语言模型（LLMs）生成非常规程序来测试深度学习（DL）库。通过对历史中引发错误的程序的研究，FuzzGPT 能够生成更有效的测试程序，检测出多达 76 个错误，其中 49 个被确认为新的错误，包括 11 个高优先级错误或安全漏洞。

研究目的：为了解决传统 fuzzing 技术在自动生成有效测试程序方面存在的挑战，本文通过整合大语言模型的生成能力，提出了一个新颖的方法来增强软件测试的效率和覆盖范围，尤其是针对复杂的深度学习库。

研究贡献：

1.本文首次提出利用大语言模型（LLMs）生成异常输入程序以提高模糊测试的有效性。FuzzGPT 作为一种新型的自动化模糊测试工具，能够根据历史错误触发程序或直接遵循人类指令生成不寻常的测试程序，适用于多种应用领域。

2.研究者们实现了 FuzzGPT 的三种变体：少样本学习、零样本学习和微调，基于 Codex 和 CodeGen 等先进的 GPT 风格模型，并特别开发了直接利用 ChatGPT 指令跟随能力的零样本变体。

3.通过在 PyTorch 和 TensorFlow 两个深度学习库上的广泛测试，FuzzGPT 在提高代码覆盖率方面显著优于现有的 TitanFuzz 工具，并成功发现了 49 个新错误，包括多个高优先级的安全漏洞。

引言

深度学习（DL）已在多个领域得到广泛应用。然而，由于这些应用依赖于复杂的 DL 库，库中的错误可能会导致严重后果，包括对安全关键应用的影响。尽管传统 Fuzzing 方法很有力，但在生成适用于 DL 库的输入程序时，它面临多个挑战。这些程序不仅需要符合编程语言的语法和语义，还必须满足构建有效计算图的张量和操作符约束。TitanFuzz 是一个先前的尝试，它通过利用预训练的大语言模型来生成有效的 DL 程序。然而，这些模型通常只生成常规程序，不足以探索库的边缘行为。与此相对，FuzzGPT 引入了一种新策略，通过对大语言模型（LLMs）进行“微调”和“上下文学习”，生成更多的异常程序，以探索 DL 库中未覆盖的路径。

研究背景

在开发深度学习（DL）应用时，常用的库如 PyTorch 和 TensorFlow 功能虽强大，但仍存在许多潜在错误。针对这些库的 fuzzing 研究通常集中在模型级和 API 级。然而，现有方法，无论是复用和变异现有种子模型，还是依赖手动编写的规范，均仅能覆盖有限的 API 和程序模式。为此，FuzzGPT 被提出以通过自动化技术生成更多样化的输入程序，从而提升 Fuzzing 的效果和效率。

研究方法

FuzzGPT 通过结合大语言模型（LLM）的能力和历史错误触发程序的数据集，创新地生成能够发现新缺陷的非常规测试程序。首先，从开源软件库中收集和分析已知的错误触发程序，以构建一个训练数据集。然后，使用这些数据对 LLM 进行微调和上下文学习，以增强其生成异常测试输入的能力。通过这种方式，FuzzGPT 不仅学习了编程语言的语法和语义，还学习了深度学习计算图的构建约束，从而有效地提高了软件测试的覆盖率和效率。此外，该方法还特别强调了在生成过程中利用历史错误数据的重要性，以更好地捕捉可能的错误触发模式。

实现方法

FuzzGPT 是基于大语言模型（LLM），如 GPT 和 Codex，利用这些模型学习历史错误触发代码片段来自动化生成测试代码的工具。首先，从开源项目中抓取 bug 报告和错误代码，以建立包含错误触发代码的数据集。然后，采用微调（Fine-tuning）和上下文学习（In-context Learning）方法来调整 LLM，从而使其能够生成可能触发深度学习库潜在错误的代码。在微调过程中，通过梯度下降法调整模型参数，以最大化预测错误触发代码的准确性。上下文学习则是通过分析历史错误示例来优化生成逻辑，无需更改模型权重。这两种策略共同增强了模型在寻找新 bug 方面的实际应用能力。

研究评估

在实际测试中，FuzzGPT 对两个流行的深度学习库 PyTorch 和 TensorFlow 进行了广泛评估。与现有模糊测试技术 TitanFuzz 相比，FuzzGPT 在测试覆盖率和错误检测方面都表现出显著优势。FuzzGPT 成功识别了总共 76 个错误，其中 49 个是之前未被发现的新错误，包括 11 个高优先级错误或安全漏洞。此外，FuzzGPT 利用从大语言模型生成的测试输入，在 PyTorch 和 TensorFlow 中实现了比 TitanFuzz 更高的代码覆盖率。这些结果有效证实了 FuzzGPT 结合历史错误数据和大语言模型策略在提升软件质量和安全性方面的实用性和效率。

结果分析

FuzzGPT 的测试结果不仅证实了其在深度学习库模糊测试中的有效性，还展示了其优越性。通过对两个主流深度学习库——PyTorch 和 TensorFlow——的广泛测试，FuzzGPT 在错误检测和测试覆盖率方面均优于现有技术。它成功检测了 76 个错误，其中 49 个是新发现的，包括 11 个高优先级错误或安全漏洞。相比于 TitanFuzz 等传统模糊测试工具，FuzzGPT 在发现新代码路径和触发边缘案例方面表现更为卓越。这些成果突显了 FuzzGPT 结合大语言模型和历史错误数据进行模糊测试的独特优势，有效地提高了深度学习库的测试深度和广度。

论文结论

通过整合大语言模型和历史错误触发程序，FuzzGPT 在深度学习库的模糊测试领域显著提升了效能。这项研究不仅揭示了多个之前未识别的错误，包括关键的安全漏洞，而且还显著提高了代码覆盖率，从而证明了其在探测深度学习库潜在缺陷的有效性。此外，FuzzGPT 展示了大语言模型在自动生成高风险测试输入方面的巨大潜力，为该领域的未来研究和实践提供了新的方向和方法，特别是在提升软件测试的自动化和智能化水平方面。

原作者：论文解读智能体

润色：Fancy

校对：小椰风