GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. Challenges in evaluating AI systems

简介：在本文中，研究者详细概述了在评估 AI 模型时所面临的挑战，以帮助读者更好地理解评估过程在实践中的实际操作。他们希望这篇文章能够为那些从事 AI 治理的研究者和组织提供有价值的信息。研究者希望读者能够从这篇文章中认识到两个关键点：一是开发有效的 AI 治理策略需要具备对 AI 系统进行有意义评估的能力，二是构建和实施强大的评估系统是一项极其复杂且具有挑战性的任务。

链接：

https://www.anthropic.com/index/evaluating-ai-systems

2. Core Views on AI Safety: When, Why, What, and How

简介：AI 的潜力无可限量，其影响力足以与工业革命和科学革命相提并论。有研究者预测，这种翻天覆地的变化可能在未来十年内发生。为了充分阐述这一观点，研究者将深入探讨为何 AI 将迅速取得重大进步并产生深远影响，以及这种趋势如何引发我们对 AI 安全的担忧。研究者希望通过这项研究，为 AI 的安全与发展贡献一份力量。

链接：

https://www.anthropic.com/index/core-views-on-ai-safety

3. How well does LLM generate security tests?

简介：在这项研究中，研究者利用了 ChatGPT-4.0 的强大功能，生成了一系列的安全测试，旨在揭示易受攻击的库依赖关系如何加剧对特定应用程序的供应链攻击。通过尝试不同的提示风格和模板，研究者发现 ChatGPT-4.0 能够为 55 个应用程序生成测试用例，并成功演示了 24 次攻击。相较于当前最先进的安全测试生成工具，如 TRANSFER 和 SIEGE，ChatGPT-4.0 生成的测试数量更多，而且更有可能触发实际的漏洞利用。特别地，当提示中包含了更详细的漏洞信息、可能的攻击方式以及代码上下文时，ChatGPT-4.0 的表现更为出色。研究者的研究为安全测试生成领域提供了新的思路。这些生成的测试用例将有助于开发人员创建更加安全的设计和默认安全软件，从而提升整个软件供应链的安全性。

链接：

https://arxiv.org/pdf/2310.00710.pdf

4. ChatGPT, Llama, can you write my report? An experiment on assisted digital forensics reports written using (Local) Large Language Models  

简介：生成 AI，特别是大型语言模型（LLM），如 ChatGPT 和 Llama，已经取得了显著的进步，这使它们成为数字取证的有力工具。虽然已有研究探讨了 ChatGPT 在调查背景下的潜力，但大型语言模型（LLM）在协助取证报告编写过程方面的作用尚未得到充分解答。为了解答这个问题，研究者首先对取证报告进行了研究。结论显示，大型语言模型（LLM）在经过仔细的校对和修正后，可以在一定程度上协助从业人员进行报告编写。不过，目前它们还无法完全取代人工。尽管如此，这些 AI 工具的潜力和价值不容忽视，未来有望在数字取证领域发挥更大的作用。

链接：

https://arxiv.org/pdf/2312.14607.pdf

5. HuntGPT: Integrating Machine Learning-Based Anomaly Detection and Explainable AI with Large Language Models (LLMs)

简介：在这篇论文中，研究者深入探讨了该系统的架构、组件和技术精度。研究者通过认证信息安全经理（CISM）实践考试来评估其效果，评估响应质量涉及六个关键指标。研究结果表明，结合了 LLM 和 XAI 的对话代理，在入侵检测中提供了一种强大、可解释且实用的 AI 解决方案。这不仅提高了用户对系统的理解度，还优化了他们的互动体验。

链接：

https://arxiv.org/pdf/2309.16021.pdf