第 20 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

· LMSanitator: Defending Prompt-Tuning Against Task-Agnostic Backdoors

简介：LMSanitator 是一种检测和删除 Transformer 模型上与任务无关的后门的新方法。LMSanitator 的目标不是直接反转触发器，而是反转任务不可知后门的预定义攻击向量(当输入嵌入触发器时预训练模型的输出)，从而实现更好的收敛性能和后门检测精度。

链接：https://arxiv.org/pdf/2308.13904.pdf

· Using ChatGPT as a Static Application Security Testing Tool

简介：本文研究了在 python 源代码中使用 ChatGPT 进行漏洞检测的可行性。为了实现这一目标，我们将适当的提示以及易受攻击的数据提供给 ChatGPT，并将其在两个数据集上的结果与三种广泛使用的静态应用程序安全测试工具(Bandit,Semgrep 和 SonarQube)的结果进行比较。我们使用 ChatGPT 进行了不同类型的实验，结果表明 ChatGPT 降低了假阳性和假阴性率，并且具有用于 Python 源代码漏洞检测的潜力。

链接：https://arxiv.org/pdf/2308.14434.pdf

· LLM in the Shell: Generative Honeypots

简介：本文介绍了一种基于大型语言模型创建动态、逼真的软件蜜罐的新方法。初步结果表明，LLM 可以创建可信的动态蜜罐，能够解决以前蜜罐的重要局限性，如确定性响应，缺乏适应性等。

链接：https://arxiv.org/pdf/2309.00155.pdf

· A Comprehensive Overview of Backdoor Attacks in Large Language Models within Communication Networks

简介：在这项调查中，我们系统地提出了 LLM 中使用通信网络的后门攻击的分类，将其分为四大类:输入触发、提示触发、指令触发和演示触发攻击。此外，我们对基准数据集进行了全面的分析。最后，我们确定了潜在的问题和开放的挑战，为未来的研究方向提供了有价值的见解，以增强通信网络中 LLM 的安全性和完整性。

链接：https://arxiv.org/pdf/2308.14367.pdf

· Red-Teaming Large Language Models using Chain of Utterances for Safety-Alignment

简介：大型语言模型(LLM)仅通过优化下一个单词的预测目标，就以其强大的多任务处理能力席卷了世界。随着法学硕士的属性和编码知识的出现，法学硕士产生有害产出的风险增加，使其不适合为公众进行可扩展部署。在这项工作中，我们提出了一个新的安全评估基准 RED-EVAL 来进行红队攻击。研究表明，即使是广泛部署的模型也容易受到基于话语链(CoU)提示的影响，此外，还证明了 RED-EVAL 在 8 个开源 LLM 中的一致性，在超过 86%的红队尝试中产生了有害的响应。

链接：https://arxiv.org/pdf/2308.09662.pdf

· Prompt-Enhanced Software Vulnerability Detection Using ChatGPT

简介：本文对不同提示符设计下的 ChatGPT 软件漏洞检测性能进行了研究。首先，我们对之前的工作进行了补充，对基本提示进行了各种改进。此外，我们还加入了结构和顺序辅助信息来改进提示设计。此外，我们利用 ChatGPT 记忆多轮对话的能力，设计适合漏洞检测的提示符。我们在两个漏洞数据集上进行了大量的实验，以证明使用 chatgpt 进行快速增强漏洞检测的有效性。我们还分析了使用 chatgpt 进行漏洞检测的优点和缺点。

链接：https://arxiv.org/pdf/2308.12697.pdf