第 56 期 | GPTSecurity 周报
![第56期 | GPTSecurity周报](https://static001.geekbang.org/infoq/3a/3a8616b89a22e768250c52c3cb22abed.jpeg)
![](https://static001.geekbang.org/infoq/b8/b8f41498f7f1deba30299896305274b6.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练 Transformer(GPT)、人工智能生成内容(AIGC)以及大语言模型(LLM)等安全领域应用的知识。在这里,您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令(Prompts)。现为了更好地知悉近一周的贡献内容,现总结如下。
Security Papers
1. SelfDefend: LLMs 能够以实用的方式自我防御免受破解
简介:SelfDefend 是一种新型的大语言模型(LLMs)防御框架,旨在对抗越狱攻击,即绕过安全对齐措施的攻击。该框架通过建立一个影子 LLM 实例来保护目标 LLM,同时进行基于检查点的访问控制。SelfDefend 利用现有 LLMs 识别用户查询中潜在有害内容的能力,通过实验验证了其有效性,能够显著降低攻击成功率,同时对正常查询影响极小。此外,通过数据蒸馏方法,SelfDefend 还优化了开源防御模型,使其在抵御越狱攻击方面表现优异,且延迟低,进一步增强了其在实际应用中的实用性。
链接:
https://arxiv.org/abs/2406.05498
2. 多智能体软件开发实验:迈向统一平台
简介:大语言模型正在革新软件工程,通过 AI 技术贯穿需求收集、架构设计、代码编写、测试和部署等环节。本研究旨在构建一个统一平台,利用多个 AI 代理自动将用户需求转化为结构化的软件交付物,包括用户故事、优先级排序、UML 图、模块化 API、单元测试和端到端测试。该平台还负责任务组织、安全合规性检查,并为非功能性需求提供设计建议。用户可按偏好控制各阶段,平台遵循欧洲标准进行安全合规性检查,并提出设计优化。研究使用 GPT-3.5、GPT-4 和 Llama3 等模型生成模块化代码,并在 GitHub 上公开源代码,以支持研究和实践。
链接:
https://arxiv.org/abs/2406.05381
3. PowerPeeler:一种精确且通用的 PowerShell 脚本动态去混淆方法
简介:PowerShell 作为强大的自动化工具,常被网络攻击者利用进行恶意脚本编写和混淆,以逃避检测和分析。为解决这一问题,本文提出了一种名为 PowerPeeler 的动态去混淆方法,它通过分析抽象语法树(AST)节点来识别和跟踪脚本执行过程中的混淆部分,并动态记录执行结果,从而实现精确的去混淆。与现有工具相比,PowerPeeler 在去混淆正确率上达到 95%,显著领先,并能恢复最多敏感数据,同时保持高语义一致性。此外,PowerPeeler 在有限时间内能有效产出最多有效去混淆结果,且具有良好的可扩展性,可作为网络安全解决方案的一部分。
链接:
https://arxiv.org/abs/2406.04027
4. 探索针对基于大语言模型的决策制定的后门攻击
简介:大语言模型(LLMs)在特定应用的微调阶段,因其强大的常识和推理能力,在决策任务中表现出巨大潜力。然而,这一阶段也存在显著的安全风险。本研究提出了首个针对 LLM 决策系统的后门攻击框架(BALD),系统地探讨了如何在微调阶段通过不同渠道引入后门攻击。研究者提出了三种攻击机制:词注入、场景操纵和知识注入,并通过实验验证了这些攻击的有效性和隐蔽性。研究还评估了 LLMs 在决策任务中的脆弱性,并探讨了潜在的防御措施,以保护基于 LLM 的决策系统。
链接:
https://arxiv.org/abs/2405.20774
5. 针对 GPT-4o 的语音破解攻击
简介:随着 GPT-4o 这一多模态大语言模型的推出,它通过音频、视觉和文本的交互能力,将人机交互带入了更自然的领域。然而,这同时也为潜在的语音破解攻击提供了新的机会。本研究首次系统地评估了针对 GPT-4o 语音模式的破解攻击,并发现 GPT-4o 在将文本破解提示转换为语音时具有较强的抵抗性。研究者提出了 VoiceJailbreak 攻击,通过模拟人类行为和虚构故事讲述来诱使 GPT-4o 泄露敏感信息。实验表明,VoiceJailbreak 能显著提高攻击成功率,从 0.033 提升至 0.778。研究还探讨了不同因素对攻击效果的影响,并通过高级写作技巧进一步增强了攻击效果。研究者希望这项研究能为构建更安全的多模态语言模型提供帮助。
链接:
https://arxiv.org/abs/2405.19103
6. LLM 辅助的静态分析用于检测安全漏洞
简介:软件存在安全漏洞的风险,而用于检测这些漏洞的程序分析工具在实际应用中的效果并不理想。尽管大语言模型(LLMs)在代码生成方面表现出色,但是它们难以进行复杂的代码推理以发现安全漏洞。本研究提出了一种名为 IRIS 的新方法,它首次将 LLMs 与静态分析相结合,以实现对整个代码库的推理,从而检测安全漏洞。研究者创建了一个包含 120 个真实 Java 项目中手动验证的安全漏洞的新数据集 CWE-Bench-Java。IRIS 利用 GPT-4 模型检测出其中的 69 个漏洞,而最先进的静态分析工具仅检测到 27 个。此外,IRIS 还显著降低了误报率,最高减少了 80%以上。这一成果不仅提高了漏洞检测的准确性,还减少了开发者的负担。
链接:
评论