第 47 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1.LLM 代理可以自主利用 0day 漏洞

简介：近年来，大语言模型（LLMs）在正向和负面应用上的能力均有显著提升。研究人员开始关注这些模型在网络安全漏洞利用方面的潜力。尽管已有初步研究探讨 LLM 代理自动攻击网站的能力，但这些研究多局限于基本漏洞。最新研究表明，当提供 CVE（常见漏洞和披露）描述时，GPT-4 模型能够自主利用现实系统中 87%的 0day 漏洞，包括被标记为临界严重的漏洞。相比之下，GPT-3.5、开源 LLMs 以及 ZAP 和 Metasploit 等开源漏洞扫描器在没有 CVE 描述的情况下，无法有效利用这些漏洞。然而，GPT-4 在没有 CVE 描述时，其漏洞利用能力大幅下降至 7%。这一发现引发了对高度智能 LLM 代理广泛部署可能带来的安全问题的担忧。

链接：

https://arxiv.org/pdf/2404.08144.pdf

2.超越随机输入：一种基于机器学习的硬件模糊测试方法

简介：ChatFuzz 是一种创新的基于机器学习的硬件模糊测试工具，旨在克服传统硬件漏洞检测技术的局限。它利用大语言模型来解析处理器指令，并结合强化学习优化输入生成，以提高代码覆盖率。在 RISC-V 架构的 RocketCore 和 BOOM 核心的测试中，ChatFuzz 显著提升了测试效率，短时间内实现了高覆盖率，超越了现有工具。ChatFuzz 不仅检测到了已知漏洞，还发现了新漏洞，证明了其在提高硬件安全性方面的潜力。

链接：

https://arxiv.org/pdf/2404.06856.pdf

3.三明治攻击：针对 LLMs 的多语言混合自适应攻击

简介：本文探讨了大语言模型（LLMs）在广泛应用中遇到的挑战，尤其是在确保输出与人类价值观一致性和多语言处理能力方面。尽管采用了安全训练方法，但恶意行为者仍能操纵 LLMs 生成有害内容。此外，攻击者利用 LLMs 在不同语言中的性能差异，尤其是低资源语言的弱点，来产生有害响应。文章介绍了一种新型的“三明治攻击”，该攻击通过多语言混合输入操纵 LLMs，实验显示它能在不同模型中引发有害和不一致的响应。这一发现强调了未来 LLMs 研究和开发需要更加关注安全性和韧性，以确保其正面服务于社会并减少滥用风险。

链接：

https://arxiv.org/pdf/2404.07242.pdf

4.Subtoxic 问题：深入探讨在越狱尝试中大语言模型（LLM）回应的态度变化

简介：本文提出了一种新的研究方法，专注于对越狱提示更为敏感的问题集，以评估大语言模型（LLMs）的安全性和进行深入实验。该方法旨在克服增强的 LLM 安全措施所带来的限制。通过设计和分析这些问题，研究揭示了一种更有效的识别 LLMs 中潜在漏洞的方法，对 LLM 安全性的提升做出了贡献。这项研究不仅对现有的越狱技术提出了挑战，也增强了 LLMs 抵御潜在利用的能力。

链接：

https://arxiv.org/pdf/2404.08309.pdf

5.FuSeBMC AI：通过机器学习加速混合方法

简介：FuSeBMC-AI 是一个将机器学习技术应用于软件测试的工具，它通过分析程序特征并利用先进的机器学习模型来优化测试策略。该工具结合了有界模型检查和模糊测试的优势，提高了在特定情况下的测试效果，并有效降低了资源消耗。FuSeBMC-AI 的设计适应了软件测试的多样性和复杂性，能够生成高质量的测试用例，提高软件的稳定性和可靠性。这一工具的发展突显了机器学习在提升软件测试效率和精确性方面的巨大潜力，预示着软件测试自动化和智能化的新时代。

链接：

https://arxiv.org/pdf/2404.06031.pdf

编辑：Fancy