毫无疑问，大语言模型（LLM）的崛起具有变革性的意义。然而，不恰当的训练也会使模型产生偏见，提供错误信息甚至发生幻觉。红队测试（Red Teaming）以系统化的方式测试模型可能存在的漏洞，主动识别 LLM 潜在的危害和风险，是在大规模部署前确保 LLM 安全性和可靠性的关键步骤。

本期澳鹏干货，我们将介绍如何采用众包方法进行红队测试（Red Teaming）及其在解决 LLM 安全挑战方面具备的独特优势。

通过经验丰富的众包团队输入多样化的观点和专业知识，我们可以在红队测试（Red Teaming）过程中发现更多的潜在漏洞，尤其是那些特定于某些文化或语言背景的漏洞。这种多元化的众包观点输入，能够通过在部署之前对 LLM 的行为进行全面的测试和审核，减小模型幻觉等可能发生的不良后果。

APPEN'S LLM RED TEAMING METHODOLOGY————

澳鹏 LLM 红队测试

第一步：定义 /Define

首先确立对红队测试目标的清晰理解，定义要测试的具体领域，包括可能出现的危害类型、攻击策略的具体参数等。

第二步：计划 /Plan

在澳鹏 AI 数据平台中设置红队作业，并使用 AI 反馈工具与模型端点进行实时交互。引入经验丰富的 LLM 红队成员，确保特定语言或知识的专业度。

第三步：管理 /Manage

系统化地进行测试和模拟活动。通过红队成员和专家的监测结果和不同见解，发现潜在的风险领域，并对其有针对性地进行进一步的漏洞探测。

第四步：报告 /Report

记录在红队测试中的发现。报告通常包括方法论、分析和建议等，用于后续指导模型改进，提高模型安全性。

CROWDSOURCED RED TEAMING DEMO————

采用众包进行红队测试

第一步：设置攻击目标

预判模型可能产生何种有害响应？目标是什么？

第二步：计划 Prompt

选择攻击技术：例如输入提示、角色扮演、虚拟化、翻译、口头劝说等。

第三步：实时聊天测试

创建对抗性 prompt 并将其发送给实时模型。

第四步：Response 标注

指定所期望的输出类型或格式，并评估 response 的有害性：是否包含任何不当、有害、存在争议或不适合 AI 输出的内容？危害程度是多少？可以用什么作为替代？

▲Demo: 采用众包进行红队测试

RED TEAMING FOR ENTERPRISE LLMS——

企业 LLM 红队测试

澳鹏 Appen 的红队测试方法同样可以应用于定制的企业大语言模型。企业 LLM 红队测试通常包括更有针对性的企业用例或场景，例如：

范围内/外的响应：企业 LLM 通常用于特定应用而不是通用的聊天机器人。定义 LLM 的交互范围可以帮助减少不必要的风险。有针对性的红队测试可以帮助确保正确的安全防护措施得到了实施，并且模型没有被用于任何超出其本来预期用例的目的。

幻觉：检索增强生成（RAG）等方法通常用于确保模型向用户提供最新、准确和可信赖的信息。然而，在实际部署过程中，仍然可能存在底层数据更新不及时、或 RAG 实施中检索块不对齐等问题。高质量的红队测试可用于防止模型幻觉或错误信息的使用。

隐私或敏感信息泄露：企业 LLM 通常会涉及到敏感或机密信息，例如员工详细信息、组织信息或内部知识产权。用于模型训练的任何信息都可能被使用者通过提示技术访问。有针对性的红队测试可以帮助确定哪里可能存在隐私泄露或敏感信息泄露的风险。

在如今风起云涌的 AI 领域，无论对于模型开发者还是使用者而言，LLM 大模型的安全性都是一个关键挑战。通过与澳鹏 Appen 全球上百万的众包资源合作进行红队测试，将人类智慧与模型开发环节有机融合，能够助力企业高质量地部署负责任的 AI 大模型。