第 19 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

• From Text to MITRE Techniques: Exploring the Malicious Use of Large Language Models for Generating Cyber Attack Payloads

• 简介：这篇研究文章批判性地探讨了恶意使用大型语言所带来的潜在风险和影响。总之，我们总结强调需要提高警惕，以减轻与 LLM 相关的风险。这包括实施强大的安全措施，提高对该技术潜在风险的认识和教育，并与安全专家合作，以保持领先于新出现的威胁。

• 链接：https://arxiv.org/pdf/2305.15336.pdf

• Revolutionizing Cyber Threat Detection with Large Language Models

• 简介：本文首次介绍了一种专为网络安全威胁检测而设计的预训练语言模型：SecurityLLM。  SecurityLLM 模型围绕两个关键的生成要素 SecurityBERT 和 FalconLLM 展开，其中 SecurityBERT 是一种网络威胁检测机制，而 FalconLLM 则是一种事件响应和恢复系统。

• 链接：https://arxiv.org/pdf/2306.14263.pdf

• On the Uses of Large Language Models to Interpret Ambiguous Cyberattack Descriptions

  简介：随着大型语言模型(LLM)的兴起，由于 LLM 的语义理解和可扩展性，NLP 任务得到了显着改善。这导致我们质疑法学硕士如何很好地解释 TTP 或一般网络攻击描述，以告知分析师网络攻击的预期目的。我们建议分析和比较直接使用 FLLM(例如 GPT-3.5)与小规模 LLMs(例如 BERT)的监督微调(SFT)，以研究它们在预测攻击和攻击战术方面的能力。研究结果表明，具有 SFT 的小规模 LLM 在 ATT&CK 战术之间提供了更集中和更清晰的区分(如果存在这种区分)。

  链接：https://arxiv.org/pdf/2306.14062.pdf

• Anatomy of an AI-powered malicious social botnet

  简介：本文介绍了一个有关 Twitter 僵尸网络的案例研究，该僵尸网络似乎利用 ChatGPT 生成了类似人类的内容。通过启发式方法，我们识别出 1140 个账户，并通过人工注释对其进行验证。

  链接：https://arxiv.org/pdf/2307.16336.pdf

• "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models

  简介：在本文中，我们对越狱提示进行了首次测量研究，历时 6 个月从 4 个平台收集了 6387 条越狱提示。我们利用利用自然语言处理技术和基于图的社区检测方法，发现了越狱提示的独特特征及其主要攻击策略，如提示注入和特权升级。

  链接：https://arxiv.org/pdf/2308.03825.pdf

• STEAM: Simulating the InTeractive BEhavior of ProgrAMmers for Automatic Bug Fixing

  简介：Bug 修复在软件开发和维护中具有重要意义。最近的研究在探索大型语言模型(LLM)用于自动错误修复的潜力方面取得了显著进展。然而，现有的研究往往忽视了 bug 解决的协作性，将其视为单阶段过程。为了克服这一限制，我们在本文中引入了一个名为 STEAM 的新型分阶段框架。STEAM 的目标是模拟多个程序员在 bug 生命周期中不同阶段的交互行为。

  链接：https://arxiv.org/pdf/2308.14460.pdf

• Better patching using LLM prompting, via Self-Consistency

  简介：在本文中，我们介绍了 S-C 方法在程序修复中的应用。在 MODIT 数据库中，我们取得了最先进的成果，超越了之前基于提示的程序修复方法。在 MODIT 数据集上，我们取得了最先进的结果，超越了之前基于提示的程序修复方法。表明，正确的提交信息有助于 LLM 学习生成更好的补丁。

  链接：https://arxiv.org/pdf/2306.00108.pdf

• ZeroLeak: Using LLMs for Scalable and Cost Effective Side-Channel Patching

  简介：在这项工作中，我们探讨了如何利用 LLM 为存在微架构侧信道泄漏的脆弱代码生成补丁。为此，我们采用零点学习方法，精心制作提示语，以研究功能强大的 LLM 的生成能力。经过广泛的实验，我们确定，在一系列查询中，提示语的形成和堆叠方式对 LLM 生成正确无泄漏补丁的能力起着至关重要的作用。

  链接：https://arxiv.org/pdf/2308.13062.pdf

• Devising and Detecting Phishing: large language models vs. Smaller Human Models

  简介：在本研究中，我们比较了 GPT-4 自动创建的钓鱼邮件和使用 V-Triad 手动创建的钓鱼邮件的性能。我们还将 GPT-4 与 v - triad 结合起来评估它们的综合潜力。结论显示，差距较大。

  链接：https://arxiv.org/pdf/2308.12287.pdf