【论文速读】|PROMPTFUZZ：利用模糊测试技术对大语言模型中的提示注入进行鲁棒性测试

基本信息

原文标题: PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs

原文作者: Jiahao Yu, Yangguang Shao, Hanwen Miao, Junzheng Shi, Xinyu Xing

作者单位: Northwestern University, Institute of Information Engineering, Chinese Academy of Sciences, University of the Chinese Academy of Sciences

关键词: 大语言模型（LLMs），提示注入攻击，模糊测试，鲁棒性测试，自动化测试

原文链接: https://arxiv.org/pdf/2409.14729

开源代码:https://github.com/sherdencooper/PromptFuzz

论文要点

论文简介:本文提出了 PROMPTFUZZ，一个创新框架，用于测试大语言模型（LLMs）在提示注入攻击下的鲁棒性。提示注入攻击通过覆盖原始指令，篡改生成的内容，严重威胁了 LLMs 的应用安全。PROMPTFUZZ 借鉴了软件模糊测试的思路，自动生成多样化的提示注入，并系统评估模型在各种攻击场景下的表现。

PROMPTFUZZ 的测试过程分为准备阶段和聚焦阶段。准备阶段从初始种子提示生成大量变异提示并测试其在防御机制下的效果；聚焦阶段进一步优化生成过程，集中资源生成更具攻击性的提示，以揭示 LLMs 的潜在漏洞。实验表明，PROMPTFUZZ 在提示注入攻击竞赛中取得第 7 名，并成功发现防御机制强大模型中的漏洞，显示了其在提升 LLMs 安全性中的重要作用。

研究目的:本研究的主要目的是提升 LLMs 在提示注入攻击下的安全性。随着 LLMs 在各类自然语言处理任务中的应用扩大，其面临的安全挑战也日益增多，尤其是提示注入攻击可能篡改模型指令，导致错误或有害输出。现有的手工测试方法覆盖面有限，耗时较长，因此需要自动化测试框架来系统化评估模型的鲁棒性。PROMPTFUZZ 通过自动化、全面的测试方法，旨在提高 LLMs 在应对提示注入攻击时的安全性。

引言

随着 LLMs 在如在线助手、广告审核、代码补全等任务中的应用愈加广泛，安全性问题也愈发重要。其中，提示注入攻击通过恶意提示篡改模型输出，是当前最严重的威胁之一。传统的手工设计测试耗时且难以覆盖全部场景，因此自动化测试工具显得尤为重要。为此，PROMPTFUZZ 框架通过生成多样化的提示注入来自动化测试 LLMs 的安全性，评估其防御能力。

PROMPTFUZZ 利用模糊测试的技术框架，分为准备阶段和聚焦阶段。准备阶段生成并测试初始提示，聚焦阶段进一步优化生成过程，以便发现模型的潜在弱点。实验中，PROMPTFUZZ 展示了其效率，超越了大多数人工测试者，为 LLMs 的安全评估提供了新的思路。

研究背景

大语言模型：大语言模型（LLMs）基于深度学习，能够理解和生成类人文本。其核心为自注意力机制，使得模型可以处理长距离依赖，广泛应用于自然语言处理任务，如文本生成、翻译和对话等。近年来，OpenAI 的 GPT 系列和 Meta 的 LLaMA 等模型得到了广泛关注。然而，随着这些模型的应用日益增加，安全性问题也逐渐暴露，尤其是提示注入攻击。因此，研究如何提升 LLMs 在安全威胁下的鲁棒性变得至关重要。

模糊测试：模糊测试是一种自动化测试方法，通过随机输入或变异数据来揭示系统中的漏洞，广泛用于检测缓冲区溢出、内存泄露等安全问题。在 LLMs 的安全评估中，模糊测试的思路被用于生成多样化的变异提示，从而评估模型在提示注入攻击下的表现。通过大量测试，模糊测试能够揭示模型的安全弱点，帮助提升其鲁棒性和防御能力。

相关工作

提示注入攻击作为 LLMs 面临的主要安全威胁之一，近年来引发了广泛关注。现有的测试大多依赖手工设计的“红队”方法，虽然有效但覆盖有限，且耗时较长。自动化攻击生成工具如 GPTFuzz 和 GCG-injection 等尝试通过生成攻击提示来提升测试效率，但大多集中在特定场景，缺乏多样性。PROMPTFUZZ 的设计弥补了这一空白，借鉴模糊测试的思路，提供了一个自动化框架，能够生成多样化的注入提示，有效评估 LLMs 的鲁棒性。

实验设计

PROMPTFUZZ 概述：PROMPTFUZZ 框架结合了模糊测试技术，旨在评估 LLMs 在提示注入攻击下的鲁棒性。其设计分为准备阶段和聚焦阶段。准备阶段通过变异初始种子提示生成大量注入提示，并在目标模型上进行初步测试。聚焦阶段则进一步优化生成高效的提示注入，最大限度发现模型中的漏洞。实验结果表明，PROMPTFUZZ 不仅在竞赛中表现优异，还能有效绕过防御机制，揭示 LLMs 中的隐蔽漏洞。

准备阶段：PROMPTFUZZ 在准备阶段收集了所有手工编写的种子提示，并通过多种变异方法（如扩展、缩短等）生成大量变异提示。这些变异提示会在 LLMs 上进行测试，分析其绕过防御机制的效果。最终，表现最好的变异提示将被保留，以供聚焦阶段进一步优化。

聚焦阶段：聚焦阶段旨在集中资源于最有潜力的种子提示，并对这些种子进行更深层次的变异优化。PROMPTFUZZ 通过分析准备阶段的结果，选择成功率较高的种子进行进一步变异，生成更具针对性和攻击性的提示注入。这一阶段会持续迭代，直到满足终止条件（例如达到最大迭代次数或时间限制）。

研究实验

实验设置：为了验证 PROMPTFUZZ 的有效性，研究团队在提示注入攻击竞赛中进行了测试。PROMPTFUZZ 在短时间内便取得了第 7 名的成绩，超越了 4000 多名参赛者。实验还表明，PROMPTFUZZ 生成的提示能够绕过多种防御机制，成功发现漏洞，证明其在真实世界应用中的有效性。

实验结果：PROMPTFUZZ 生成的提示在提示注入攻击中表现优异，成功率显著高于手工设计和其他自动化方法。无论在比赛还是真实应用中，PROMPTFUZZ 均展示出高效的漏洞发现能力，即使在微调后的 LLMs 上，仍能生成有效攻击提示。

研究评估

PROMPTFUZZ 还被用于构建微调数据集，提升 LLMs 对提示注入攻击的防御能力。实验表明，尽管经过微调的模型在一定程度上提高了安全性，但 PROMPTFUZZ 依然能够生成有效的攻击提示。这表明，对 LLMs 的持续测试和防御强化是必要的。

论文结论

PROMPTFUZZ 为 LLMs 的鲁棒性测试提供了一个高效、全面的自动化框架，能够系统评估模型在提示注入攻击下的安全性。通过生成多样化的提示注入，PROMPTFUZZ 在强大防御机制下依然能够揭示潜在漏洞。实际应用证明，PROMPTFUZZ 在竞赛和真实世界中表现出色，有效提高了 LLMs 在提示注入攻击下的安全性。研究团队通过开源代码，希望进一步推动 LLMs 安全性研究，帮助开发者提高模型的鲁棒性。

原作者：论文解读智能体

校对：小椰风