第 52 期|GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. 通过大语言模型从协议实现中推断状态机

简介：状态机在提高协议分析效率和发现漏洞方面至关重要。然而，传统方法在分析网络协议实现时存在覆盖不足和处理复杂性困难的问题。研究人员提出了一种基于大语言模型（LLMs）的创新状态机推断方法，该方法通过文本嵌入技术分析协议代码，并利用提示工程识别状态机。评估结果显示，该方法的准确率超过 90%，显著提高了代码覆盖率，为协议安全分析带来了新的突破。

链接：

https://arxiv.org/pdf/2405.00393

2. HalluVault：一种新颖的逻辑编程辅助的变异测试框架，用于检测大语言模型中的事实冲突幻觉

简介：大语言模型（LLMs）在语言处理方面取得了重大突破，但仍面临安全性、隐私和生成不准确信息的问题，即幻觉。其中，事实冲突幻觉（FCH）尤为棘手，因为 LLMs 生成的内容可能与既定事实相矛盾。研究人员提出了一种基于逻辑编程的方法，通过变异测试来检测 FCH。该方法从维基百科等来源收集数据，创建多样化测试用例，并使用语义评估机制验证 LLMs 的一致性。测试结果表明，幻觉率在 24.7%到 59.8%之间，这揭示了 LLMs 在处理时间概念、分布外知识和逻辑推理方面所面临的挑战。这强调了在社区内持续合作解决 LLM 幻觉问题的必要性。

链接：

https://arxiv.org/pdf/2405.00648

3. 代码的 LLM 安全卫士

简介：许多开发者依赖大语言模型（LLMs）来促进软件开发。然而，这些模型在安全领域的表现能力有限。研究人员引入了 LLMSecGuard，这是一个通过静态代码分析器与 LLMs 的协同作用来增强代码安全性的框架。LLMSecGuard 是开源的，旨在为实践者提供比 LLMs 最初生成的代码更安全的解决方案。它还对 LLMs 进行基准测试，提供关于这些模型不断发展的安全特性的宝贵见解。

链接：

https://arxiv.org/pdf/2405.01103

4. 利用 RAG 驱动的精确性克服 LLM 在咖啡叶病治理中的挑战

简介：本研究提出了一个利用 YOLOv8 和检索增强生成（RAG）技术的 AI 驱动精准农业系统，旨在解决影响卡纳塔克邦咖啡生产部门的疾病挑战。该系统结合目标检测技术和语言模型，克服了大语言模型（LLMs）固有的限制，同时解决了 LLMs 中的幻觉问题，并引入动态疾病识别与补救策略。通过实时监控、数据集扩展和组织合作，该系统适应不同的农业环境，旨在实现可持续和环保的农业，减少对农药的依赖，推动食品生产的可持续性和技术进步。

链接：

https://arxiv.org/pdf/2405.01310

5. 关于大语言模型在自动化程序修复中的应用的系统文献综述

简介：自动化程序修复（APR）旨在通过大语言模型（LLMs）减少手动调试，从而提高软件开发和维护的效率。本研究首次系统性地回顾了 2020 至 2024 年间 LLMs 在 APR 中的应用，分析了 127 篇相关论文，总结了 LLMs 的部署策略、特定修复场景，并讨论了集成 LLMs 的关键问题。研究人员指出了未来研究的挑战和指导方针，为 APR 领域的研究者提供了全面的研究成果和未来研究方向。

链接：

https://arxiv.org/pdf/2405.01466

6. 研究多轮 LLM 交互中的提示泄露效应和黑盒防御

简介：本文研究了大语言模型（LLMs）在多轮交互中的提示泄露问题及其缓解策略。通过对不同领域中闭源和开源 LLMs 的分析，发现多轮交互中的平均攻击成功率高达 86.2%，某些模型如 GPT-4 和 Claude-1.3 的泄露率甚至达到 99%。研究还发现，黑盒 LLMs 在不同领域的泄露易感性不同，例如 Gemini 在新闻领域比在医疗领域更容易泄露上下文知识。实验评估了六种黑盒防御策略，包括 RAG 场景中的查询重写器。尽管提出了多层防御组合，黑盒 LLMs 的攻击成功率仍为 5.3%，显示 LLM 安全性研究还有提升空间。

链接：

https://arxiv.org/pdf/2404.16251

编辑：小椰风