第 39 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1.BadChain：大型语言模型的后门思维链

简介：大型语言模型（LLMs）通过链式思维（COT）提示得到了提升，但同时也面临后门攻击的威胁。研究者提出了 BadChain，一种针对 LLMs 的新型后门攻击，无需访问训练数据集或模型参数，并且计算开销较低。BadChain 利用 LLMs 的推理能力，在模型输出中插入后门推理步骤，导致意外输出。研究者在多个 LLMs 和任务上展示了 BadChain 的有效性，尤其是对具有强推理能力的模型更易受攻击。现有的防御方法对 BadChain 的效果有限，强调了未来防御措施的迫切性。

链接：

https://arxiv.org/pdf/2401.12242.pdf

2.ChatGPT 如何解决漏洞管理问题

简介：本文使用大规模数据集探索了 ChatGPT 在涉及漏洞管理任务的能力，并与 SOTA 方法进行比较。结果显示，ChatGPT 在软件错误报告生成标题方面表现出熟练程度，但仍存在困难和挑战，如如何有效引导 ChatGPT 关注有用信息而不是无关内容。

链接：

https://arxiv.org/pdf/2311.06530.pdf

3.LLM4Vuln: 一个统一的评估框架，用于解耦和增强 LLM 的漏洞推理

简介：大型语言模型（LLM）在漏洞检测等任务中展示了巨大潜力。本文提出了一个评估框架 LLM4Vuln，将 LLMs 的漏洞推理与其他能力分开，并通过实验发现了关于知识增强、上下文补充、提示方案和模型的不同效果。在试点的漏洞赏金计划中，发现了 9 个零日漏洞并获得超过 1,000 美元的奖励。

链接：

https://arxiv.org/pdf/2401.16185.pdf

4.使用大型语言模型进行漏洞检测的微调

简介：本文通过微调大型语言模型（LLMs），特别是通过改进和适配 WizardCoder 模型，探索了在源代码中检测漏洞的任务。研究团队对训练流程进行了调整，以适应不平衡的数据集，并通过不同技术改善分类性能。微调后的 WizardCoder 模型在平衡和不平衡的漏洞数据集上都显示出相比于 CodeBERT 类模型更好的性能，特别是在 ROC AUC 和 F1 评价指标上。这一成果不仅展示了预训练 LLMs 在源代码漏洞检测方面的有效性，而且还强调了通过优化训练流程和处理数据不平衡问题来提高模型性能的重要性。此外，该研究证实了利用大型预训练语言模型针对特定源代码分析任务进行微调的转移学习潜力。

链接：

https://arxiv.org/pdf/2401.17010.pdf

5.用于漏洞检测的大型语言模型：新兴结果和未来方向

简介：以前基于学习的漏洞检测方法要么依赖于中型预训练模型，要么从头开始使用较小的神经网络。大型预训练语言模型（LLMs）的最新进展展示了在各种任务中出色的少样本学习能力。然而，LLMs 在检测软件漏洞方面的有效性尚未得到广泛探索。本文旨在填补这一空白，通过探索 LLMs 在各种提示下的表现，特别关注两个最先进的 LLMs：GPT-3.5 和 GPT-4。实验结果表明，GPT-3.5 在漏洞检测方面取得了与先前最先进方法相竞争的性能，而 GPT-4 始终表现优于最先进方法。

链接：

https://arxiv.org/pdf/2401.15468.pdf