第 30 期 | GPTSecurity 周报

GPTSecurity 是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于 GPT/AIGC/LLM 最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. PrivateLoRA 用于高效隐私保护 LLM

简介：在这项工作中，研究者提出了一种新的 LLM 服务范式，该范式将隐私敏感计算分布在边缘设备上，并在云中共享计算。只有激活在中心云和边缘设备之间传输，以确保数据的局部性。该研究的核心创新是 PrivateLoRA，通过利用低等级的剩余激活来解决具有挑战性的通信开销，实现 95%以上的通信减少。

链接：

https://arxiv.org/pdf/2311.14030.pdf   

2. 不要忘记私有检索：大型语言模型的分布式私有相似性搜索

简介：本文中，研究者提出了私有检索增强生成(PRAG)，这是一种使用多方计算(MPC)将查询安全地传输到包含私有构建数据库的分布式服务器集以返回 top-k 和近似 top-k 文档的方法。这是密集信息检索的第一种方法，可确保没有服务器观察到客户机的查询或可以看到数据库内容。该方法引入了一种新的 MPC 友好协议，用于反向文件近似搜索(IVF)，该协议允许在亚线性通信复杂性下对分布式和私有数据进行快速文档搜索。

链接：

https://arxiv.org/pdf/2311.12955.pdf

3. 了解大型语言模型在检测安全漏洞方面的有效性

简介：本文中，研究者探讨了预先训练的 LLM 是否可以检测安全漏洞并解决现有工具的局限性。研究者在一组五种不同的安全基准上评估了预训练的法学硕士的有效性，这些基准涵盖两种语言，Java 和 C/ c++，并包括来自合成和现实世界项目的代码样本。研究表明 LLM 通常比现有的静态分析和基于深度学习的漏洞检测工具表现更好，特别是对于某些类别的漏洞。此外，LLM 还经常提供可靠的解释，精确地识别代码中的易受攻击的数据流。

链接：

https://arxiv.org/pdf/2311.16169.pdf

4. 利用动态注意力提高基于 Transformer 的大型语言模型的鲁棒性

简介：基于 Transformer 的模型，例如 BERT 和 GPT，由于其卓越的性能而在自然语言处理（NLP）中得到了广泛采用。然而，最近的研究表明，它们容易受到文本对抗性攻击，其中模型的输出可能会因故意操纵文本输入而被误导。尽管已经提出了各种方法来增强模型的鲁棒性并减轻此漏洞，但许多方法需要大量消耗资源（例如，对抗性训练）或仅提供有限的保护（例如，防御性退出）。在本文中，研究者提出了一种称为动态注意力的新颖方法，专为 Transformer 架构量身定制，以增强模型本身针对各种对抗性攻击的固有鲁棒性。实验表明，动态注意力显着减轻了对抗性攻击的影响，与之前针对广泛使用的对抗性攻击的方法相比，性能提高了 33%。

链接：

https://arxiv.org/pdf/2311.17400.pdf

5. GPT4Video：用于指令跟随理解和安全意识生成的统一多模态大语言模型

简介:虽然多模态大语言模型（MLLM）的最新进展构成了该领域的重大飞跃，但这些模型主要局限于输入端多模态理解领域，缺乏多模态内容生成的能力。为了填补这一空白，我们提出了 GPT4Video，这是一个统一的多模型框架，使大型语言模型 (LLM) 具有视频理解和生成的能力。定性和定性实验表明，GPT4Video 有潜力成为有效、安全且类人的视频助手，可以处理视频理解和生成场景。

链接：

https://arxiv.org/pdf/2311.16511.pdf