第 12 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

🔹Meta 发布类 ChatGPT 开源模型 Llama 2，允许商业化

链接：https://mp.weixin.qq.com/s/v-APDqlLUH-NNT2qYU0Bvw

🔹用 ChatGPT 方式开发代码，GitHub Copilot Chat 正式公测

链接： https://github.blog/category/product/

🔹大语言模型的七大应用风险

链接： https://mp.weixin.qq.com/s/lyoG5U31ZEtI_6m5SleQWQ

Security Tools

🔹garak 检查大语言模型是否存在特定的脆弱性，这些脆弱性的探测可以由如下框架实现

简介：garak 可以集成模型幻觉、数据泄露、提示词注入、错误信息、越狱等脆弱性的探测。

链接：https://github.com/agencyenterprise/promptinject

🔹Callisto 是一款智能的自动化二进制漏洞挖掘工具

简介：Callisto 是一款智能的自动化二进制漏洞挖掘工具。在 Semgrep SAST 工具分析源码漏洞的基础上，它使用 GPT-3.5-Turbo 模型对 Semgrep 的检测结果进行验证、并且探索并识别更多可能的漏洞。

链接：https://github.com/JetP1ane/Callisto