第 2 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好的知悉近一周的贡献内容，现总结如下如下。

Security Papers

1.行业新闻

• Facebook 季度安全报告：假冒 ChatGPT 的恶意软件激增 https://about.fb.com/news/2023/05/metas-q1-2023-security-reports/

• Tenable 的报告展示了生成式人工智能正在如何改变安全研究 https://venturebeat.com/security/tenable-report-shows-how-generative-ai-is-changing-security-research/

2. GPT 自身安全

论文

• Boosting Big Brother: Attacking Search Engines with Encodings

  攻击测试了集成 OpenAI GPT-4 模型的必应搜索引擎

  https://arxiv.org/pdf/2304.14031.pdf

• More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models

  间接提示注入的开山之作，里面很多场景都已成为现实

  https://arxiv.org/pdf/2302.12173.pdf

• Evaluating the Code Quality of AI-Assisted Code Generation Tools: An Empirical Study on GitHub Copilot, Amazon CodeWhisperer, and ChatGPT

  https://arxiv.org/pdf/2304.10778.pdf

3. 安全运营

• GPT-2C: A GPT-2 Parser for Cowrie Honeypot Logs

  https://arxiv.org/pdf/2109.06595.pdf

• Elastic 公司发布的"与 ChatGPT 探索安全的未来" 提出了 6 个构想：(1) 聊天机器人协助事件响应 (2) 威胁报告生成 (3) 自然语言检索 (4) 异常检测 (5) 安全策略问答机器人 (6) 告警排序。

  https://www.elastic.co/cn/security-labs/exploring-applications-of-chatgpt-to-improve-detection-response-and-understanding

• ChatGPT 在安全运营中的应用初探结论

  https://www.secrss.com/articles/51775

• 利用 Chat GPT 和 D3 的 AI 辅助事件响应探讨将 ChatGPT 与 Smart SOAR 整合的好处

  https://www.163.com/dy/article/I48DBHHG055633FJ.htm

4. 以数据安全训练 GPT

• ChatGPT：和黑客知识库聊天 (1) 从 prompt 到自训练数据原文反向索引的准确性；(2) openai 提供模型的微调服务的尝试；(3) 其他可替代性模型总结；(4) 围绕 markdown 格式的数据集解析和分块索引的脚本示例；(5) 相似索引向量引擎推荐。

  https://mp.weixin.qq.com/s/dteH4oP24qGY-4l3xSl7Vg

Security tools

• Falco-gpt

• 简介：Falco-gpt 是借助 OpenAI 自动为 Falco 提供的内核审计事件提供补救措施的工具。

  https://github.com/Dentrax/falco-gpt

• CodaMOSA

  简介：CodaMOSA 是 CODAMOSA: Escaping Coverage Plateaus in Test Generation with Pre-trained Large Language Models 的论文代码，实现了一款结合了 OpenAI API 的 fuzzer，旨在缓解传统 fuzz 中陷入覆盖率停滞不前的问题。

  https://github.com/microsoft/codamosa