第 37 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. 防御的艺术：法学硕士安全性和过度防御性防御策略的系统评估和分析

简介：随着大型语言模型（LLMs）在自然语言处理应用中发挥日益关键的作用，它们的安全性问题成为自然语言处理研究的关键领域。本论文提出了 Safety and Over-Defensiveness Evaluation（SODE）基准：这是一个包含各种安全和不安全提示的集合，具有精心设计的评估方法，有助于对“安全性”和“过度防御性”进行系统评估、比较和分析。通过 SODE，研究者研究了多种 LLM 防御策略，涵盖了多个最先进的 LLM，揭示了一些有趣而重要的发现。总体而言，研究者相信这将为改进 LLMs 的安全性提供参考，并促进进一步的研究。

链接：

https://arxiv.org/pdf/2401.00287.pdf

2. 使用加固修复代码安全漏洞

简介：随着大型语言模型（LLMs）的迅速发展，尽管其加速了功能开发过程，却也带来了严重的代码安全风险。值得注意的是，利用 LLM 进行适当的代码安全措施生成比功能代码生成更为具有挑战性。因此，在这项研究中，为了提升由 LLM 生成的代码的安全性和稳固性，研究者提出了一种基于强化学习的程序特定修复方法，结合了语义和句法奖励机制，着重关注添加安全和功能度量。

链接：

https://arxiv.org/pdf/2401.07031.pdf  

3. 使用大型语言模型增强自动代码漏洞修复

简介：该研究充分利用了先进的大型语言模型（LLMs），如 Code Llama 和 Mistral。通过在以 C 代码漏洞为特征的数据集上进行微调，这些模型显著提高了自动化代码修复技术的准确性和适应性。研究还对当前的评估指标进行了关键评估，并指出这些指标在反映自动修复模型在实际场景中真实能力方面存在局限性。在此基础上，研究强调了使用不包含训练样本的测试数据集的重要性，特别突显了数据集完整性对于提高 LLMs 在代码修复任务中效果的必要性。该研究不仅突显了 LLMs 在增强代码安全方面的潜力，还促进了这些关键领域的进一步探索和研究。

链接：

https://arxiv.org/ftp/arxiv/papers/2401/2401.03741.pdf

4. 披着羊皮的 GPT：定制 GPT 的风险

简介：2023 年 11 月，OpenAI 推出了一项新服务，允许用户通过使用具体的指令和知识来引导 ChatGPT（GPTs）的行为，从而创建定制版本的 ChatGPT。该研究旨在提高人们对于 GPTs 可能被恶意使用的认识，从而引起对用户隐私和安全构成风险的关注。

链接：

https://arxiv.org/pdf/2401.09075.pdf