第 23 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. DIVAS: An LLM-based End-to-End Framework for SoC Security Analysis and Policy-based Protection

简介：在这项工作中，研究者提出了一个名为 DIVAS 的新框架，它利用 LLM 的知识库从用户定义的单片系统规范中识别安全漏洞，将它们映射到相关的通用弱点枚举（CWE），并通过执行安全策略来采用安全措施。从开源单片系统 SoC 基准测试中获得的实验结果证明了我们提出的框架的有效性。

链接：

https://arxiv.org/pdf/2308.06932.pdf

2. ChatGPT 的软件包推荐是可信赖的吗？

简介：在这项研究中，研究者发现攻击者可以很容易地使用 ChatGPT 来帮助他们将恶意软件包传播到开发人员的环境中。考虑到人工智能技术在各领域的广泛采用，研究者认为，向网络和 IT 安全专业人员发出预警是必要、及时和适当的。

链接：

https://vulcan.io/blog/ai-hallucinations-package-risk

3. LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins

主页：https://llm-platform-security.github.io/chatgpt-plugin-eval

开源项目：[chatgpt-plugin-eval] 

https://github.com/llm-platform-security/chatgpt-plugin-eval

简介：在本文中，研究者提出了一个框架，为 LLM 平台设计者分析和改进当前和未来插件集成 LLM 平台的安全性、隐私性和安全性奠定了基础。作为迭代过程的一部分，研究者将该框架应用于 OpenAI 的插件生态系统中。最后，本文讨论了新的挑战，并提出了改进当前和未来基于 LLM 的计算平台的安全性、隐私性和安全性的建议。

链接：

https://arxiv.org/pdf/2309.10254v1.pdf

4. LogGPT: Log Anomaly Detection via GPT

简介：最近，深度学习模型已被广泛用于日志异常检测。其核心思想是将日志序列建模为自然语言，并采用深度序列模型，如 LSTM 或 Transformer，通过语言建模对日志序列中的正常模式进行编码。然而，语言建模和异常检测之间存在差距，因为通过语言建模类训练序列模型的目标与异常检测没有直接关系。为了填补这一空白，研究者提出了 LogGPT，这是一种利用 GPT 进行日志异常检测的新框架。在三个数据集上的实验结果表明，LogGPT 显著优于现有的最先进的方法。

链接：

https://browse.arxiv.org/pdf/2309.14482.pdf

5. Cyber Sentinel: Exploring Conversational Agents’ Role in Streamlining Security Tasks with GPT-4  

简介：本文介绍了 Cyber Sentinel，这是一个以创新任务为导向的网络安全对话系统，能够有效地管理两个核心功能：向用户解释组织内潜在的网络威胁，以及在用户指示时采取主动/被动的安全行动。最终结论显示，该框架不仅提高了系统的透明度，而且简化了决策过程和应对威胁响应过程，在网络安全通信领域取得了重大进展。

链接：

https://browse.arxiv.org/pdf/2309.16422.pdf

Security Tools

1. nmap-GPT

简介：nmap-GPT 致力于帮助安全初学者学习如何解决与网络设备开放端口相关的安全问题。首先使用 Nmap 扫描设备，然后利用 OpenAI API 提供每个开放端口特定安全注意事项的提示。

链接：

https://github.com/ethanolivertroy/nmap-GPT