第 53 期|GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. WitheredLeaf: 利用大语言模型 (LLM) 发现实体不一致性漏洞

简介：实体不一致性漏洞（EIBs）是语法正确但程序实体使用不当的错误，通常影响安全且难以发现。传统检测方法如静态分析和动态测试难以应对 EIBs 的多样性和上下文依赖性。然而，利用大语言模型（LLMs）的语义理解能力，自动 EIB 检测变得可行。研究表明，尽管 GPT-4 有潜力，但其召回率和精确度有限。为此，研究者开发了 WitheredLeaf 系统，通过特定于代码的小型语言模型提高精确度和召回率。在 154 个高星 Python 和 C 的 GitHub 存储库上测试，WitheredLeaf 识别出 123 个新缺陷，其中 45%可干扰程序运行，69 个修复提案中有 27 个已合并。

链接：

https://arxiv.org/pdf/2405.01668

2. 中性提示会导致不安全的代码吗？FormAI-v2 数据集：标记由大语言模型生成的代码中的漏洞

简介：本研究对大语言模型（LLMs）进行比较分析，探讨它们在中性零样本提示下编写简单的 C 程序时产生安全漏洞的可能性。研究填补了现有文献中关于这些模型生成代码安全属性的空白。研究者基于 FormAI-v2 数据集，包含 265,000 个由不同 LLMs 生成的 C 程序，使用 ESBMC 进行形式验证，发现至少 63.47%的程序存在漏洞。结果表明，模型间差异不大，因为所有模型都显示出类似的编码错误。研究强调，LLMs 在代码生成上虽有潜力，但在生产环境中部署其输出需进行风险评估和验证。

链接：

https://arxiv.org/pdf/2404.18353

3. 大语言模型（LLMs）在网络防御中的全面概述：机遇与方向

简介：大语言模型（LLMs）在数据密集型应用中取得了显著进展，能够编码上下文并提供对下游任务的强大理解能力。这种能力有助于识别网络威胁异常、增强事件响应和自动化安全操作。本文概述了 LLMs 在网络防御领域的最新活动，并分类讨论了威胁情报、漏洞评估、网络安全、隐私保护、意识培训、自动化和道德指导等方面。介绍了从 Transformers 到 GPT 的 LLMs 发展基本概念，并分析了各部分的优势和劣势。最后，探讨了 LLMs 在网络安全中的挑战、方向和未来可能的研究方向。

链接：

https://arxiv.org/pdf/2405.14487

4. GPT-4 通过自我解释近乎完美地自我越狱

简介：本文提出了一种名为迭代细化诱导自我越狱（IRIS）的新方法，它利用大语言模型（LLMs）的反思能力，在黑盒环境下实现自我越狱。IRIS 简化了越狱过程，通过自我解释迭代细化对抗性提示，确保模型遵循指令。该方法显著提高了越狱成功率，在 GPT-4 上达到 98%，在 GPT-4 Turbo 上达到 92%，且查询次数少于 7 次。IRIS 在自动、黑盒和可解释的越狱方面超越了先前方法，为可解释越狱技术设立了新的标准。

链接：

https://arxiv.org/pdf/2405.13077

5. 生成式人工智能与大语言模型在网络安全中的应用：需要了解的所有洞见

简介：本文全面审视了生成式人工智能和大语言模型（LLMs）在网络安全领域的未来应用。探讨了 LLM 在硬件安全、入侵检测、软件工程等多个关键领域的应用，并分析了包括 GPT-4 在内的先进模型。同时，研究了 LLM 的潜在漏洞和相应的缓解策略，评估了 42 种 LLM 模型在网络安全方面的表现。文章还讨论了数据集的生命周期管理，并提出了利用 LLMs 的新策略，如 HQQ、RLHF 等，旨在增强实时网络安全防御，并提高 LLM 在威胁检测和响应中应用的复杂性。最后，为将 LLMs 整合入未来网络安全框架提供了基础理解与战略方向，强调创新和模型的稳健部署以对抗不断演变的网络威胁。

链接：

https://arxiv.org/pdf/2405.12750

6. 使用 GPT 的自动化硬件逻辑混淆框架

简介：本文介绍了 Obfus-chat，一个利用生成式预训练变换器（GPT）模型自动化硬件逻辑混淆的框架。该框架接受硬件设计网表和密钥大小作为输入，自动生成增强安全性的混淆代码。通过 Trust-Hub 混淆基准和 SAT 攻击评估，结合功能验证，确保混淆设计与原始设计一致。结果表明，Obfus-chat 在加强硬件知识产权防护方面既有效又高效，为硬件安全领域做出了重要贡献。

链接：

https://arxiv.org/pdf/2405.12197\

编辑：小椰风