快手商业化风控内容审核场景下的大模型早期探索与应用

导读：大模型技术正深刻重塑商业风控体系，推动风险管理向智能化、高效化、精准化转型。本系列专题首篇聚焦快手商业化风控内容审核场景，系统剖析大模型如何破解传统风控痛点，构建覆盖全链路的风险治理新范式。后续篇章还将进一步揭秘大模型评估标准 Bechmark、智能体 Agent、多模态推理模型等内容，敬请期待。

一、引言

快手商业化场景下，风险控制不仅关乎平台的信誉和经济效益，更直接影响用户和客户的体验和利益。理想的风控系统需要具备前瞻性和高度自适应能力，能够预测并管理潜在的风险，如科幻电视剧《西部世界》中的超级 AI "雷荷波"（Rehoboam），展现了对全球风险的预测和即时干预的能力。现实中，我们追求的是一个“旋转对抗飞轮”式的系统，通过持续加速对抗能力的提升，对抗飞轮就会转得越快，我们的防控能力就会越强大，能够有效增加恶意行为者的对抗成本。这不仅要快速感知和识别新的风险，还需对风险进行深入的认知分析，并能够在风控实战中表现出高度的鲁棒性。基于此，将围绕一下几个方面进行内容展开：

• 风控治理发展现状

• 风控领域的大模型构建

• 大模型在快手商业化风控的应用

• 总结与展望

二、风控治理发展现状

2.1 发展现状

从业务运营的视角看，快手商业化风控系统紧密围绕安全、效率与体验维度展开，旨在精准契合平台、客户与用户多元化需求，这些需求主要包括：平台需要以低成本能够有效控制风险、用户期望不受低质广告的干扰、客户则希望视频审核过程快速、透明且具有高可解释性，以低成本获取高收益。随着技术的不断进步，智能风控系统已从初期的规则驱动发展为数据驱动的传统机器学习，再演化为依赖深度学习的模型驱动，最终升级到现今的大模型驱动阶段。

2.2 风控面临的技术问题与挑战

尽管取得了显著进展，当前快手商业化智能风控系统仍面临几个关键挑战：

挑战一：客户不断高涨的体验需求

客户在接收到审核结果时，如果内容是生硬、缺乏具体操作指导，会让客户难以理解如何根据审核反馈优化素材，因此，客户越来越希望平台优化反馈的内容，获得更好的平台体验服务。

挑战二：对抗行为与审核规则的快速变化

部分客户为了规避平台的监管，不断创新风险素材。此外，审核规则的变动也增加了风控的复杂性，因为某些内容的合规性可能随时间和政策法规的变化而调整。

挑战三：人工审核效率不断提质

鉴于广告内容和相关规则的复杂多变性，审核员需要审查大量素材并记住繁杂的规则。这种方式不仅耗时，还可能会出现人为错误。

为应对这些挑战，快手商业化风控进一步融合先进的 AI 技术，提升自动化水平，增强系统的适应性和灵活性，以实现更高效、更精准的风险管理。同时，还需优化用户体验和反馈机制，以提升用户与客户的满意度。

三、风控领域的大模型构建

接下来介绍大模型在快手商业化风控场景下的探索，风控领域大模型构建的技术流程图如下所示：

为了打造具备高效风控能力的 AI 模型——明镜大模型（KwaiBLM），我们采取了一系列系统化和层次化的开发步骤：

1. 继续预训练阶段：利用快手内部高质量语料库（Kwai-Data）进行了训练，以使模型更好地理解和处理风控审核的特定内容。此阶段的目的在于让模型在实际部署前，能够深入学习并充分掌握与风控相关的语义和图像特征。

2. 微调（Fine-tuning）阶段：我们针对风控场景的具体需求，构建了包含多种模态（文本、图像、音频和视频）的高质量指令标注数据集。通过这些详细标注的数据，对模型进行了深入微调，这一步是至关重要的。

3. 模型迭代阶段：我们通过对模型在特定不良案例中的表现进行深入分析，并结合实际应用中的用户反馈，不断地优化和调整模型参数。这一过程旨在不断提升模型的鲁棒性和适应性，以确保其在各种场景下的稳定运行。

4. 模型应用阶段：模型不仅用于客户体验优化和风险防控，也用于应对尺度变化和提升审核效率。此外，模型在实际应用中的表现也将作为后续优化和调整的重要依据。

以上步骤构成了我们实现具有高效风控能力的 AI 模型（明镜大模型，KwaiBLM）的核心路径 ，我们确保了模型在风控真实环境下的适用性和准确性，有效地辅助视频内容的审核工作，以识别和过滤违规内容。以下是详细的技术说明。

3.1 继续预训练阶段

风控大模型（明镜大模型，KwaiBLM）在继续预训练阶段主要分为数据收集、Prompt Engineering、数据处理、语料清洗、训练数据、模型训练几个部分，实现过程如下所示：

为了构建专注于风控场景的的 AI 模型，我们将风控的领域知识注入到了快手内部通用的预训练模型中进行继续预训练，让模型能够或者特定的领域能力，具体实现流程如下：

• 数据收集：我们将真实场景中的高质量素材沉淀为训练语料。这一步骤是模型训练的基础，确保了模型训练数据的真实性、多样性、场景的丰富程度等特性。

• Prompt Engineering：基于不同素材类别，我们组装了多样的提示词模板，并利用 MMGPT 构建训练语料。这一环节主要是通过精确的提示词引导模型更好地理解和处理特定场景数据。

• 数据基础处理：我们通过对收集到的结构化和非结构化数据进行处理与标注，构建了坚实的数据基础，这包括数据的格式化、清洗以及初步的分类标注，以确保数据的质量和适用性。

• 语料精准清洗：在人工和自动化的帮助下，对收集到的数据进行过滤、处理和标注。这一过程不仅包括风控场景专有的指令数据，还涉及结构化数据、非结构化数据、开源数据及种子数据等，从而构建一个全面而完善的训练语料库，从而保障训练语料的质量、多样性、均衡性以及合规性等。通过混洗处理后的语料形成用于训练的数据集，随后针对特定领域任务（如风险控制）进行后训练，以适应特定任务的需求。

• 模型训练：在这一阶段，我们对 AI 模型进行继续预训练相关工作，以确保其在处理风控相关任务时的准确性和效果，将已有训练语料中的风控领域知识注入到快手内部通用预训练模型中，训练成为风控领域专有的大模型。

3.2 微调（Fine-Tuning）阶段

我们在微调阶段主要分为两个步骤，分别是训练数据构建和微调。其中微调主要采取了两种方式，分别是全参数微调和 LoRA 微调，并且在二者基础上对风控场景的最终效果进行了比对。

训练数据构建

为了提高 AI 模型在风控领域的应用效果，我们采用了多模态（图像-文本对）的数据，从而通过 GPT-4 生成多样化的指令数据，包括对话数据和细节描述数据：

• 对话数据：我们构建了 prompt 模板，设计了多样化的问题，让模型能够提出并回答关于物体类型、数量、动作、位置及其相对位置的具体问题。这些问题的设计避免了不确定性，确保模型提供的回答是确定且准确的。

• 细节描述数据：为了丰富图像描述，我们使用 GPT-4 生成了一个问题列表。对于每个图像，从列表中随机抽取问题，让 GPT-4 生成详细的描述，以提供全面的图像理解。

收集到的数据，我们会进行二次语料优化，主要包括以下内容：

• 数据清洗：为确保训练数据的质量，我们移除了无关、损坏、重复及低质量的数据。

• 数据增强：我们采用了针对不同场景的特定方法来扩展数据集，包括图像转换、噪声添加、文本扰动等，以增加数据的多样性和均衡性，从而提高模型的泛化能力。

多模态融合

由于需要保证不同的模态的语料之间能够更好的融合，我们也在不同的阶段采用了不同的方式：

动态融合：根据不同场景和数据特点，动态选择最适合的融合方式，甚至在不同的处理阶段采用不同的融合策略。其中融合方式我们设定的有三种，分别为：

• 前期融合：在特征提取之前将不同模态的数据合并，例如将音频特征与帧级视频特征结合

• 中期融合：各模态分别提取特征后在指定层级合并。

• 后期融合：各模态独立进行到最后阶段再进行结果的融合，可以减少模型对错误模态的依赖。

融合加权：为不同模态的特征或结果赋予不同的权重，依据其在特定任务中的重要性和可靠性进行调整。

大模型微调

我们在微调这一部分的工作主要分为以下两个阶段：

1. 特征对齐阶段（Stage 1）：我们冻结了图片编码器和文本编码器，只对投影矩阵进行更新。此操作的目的是确保视觉 Token（Vision Token）与语言 Token（Language Token）之间能够达到精确对齐。通过这样的对齐，模型可以更好地理解和处理视觉与文本间的关联信息，从而提高多模态数据处理的准确性和效率。

2. 多指令微调阶段（Stage 2）：我们继续冻结图片编码器，但重新激活文本编码器和投影矩阵的更新。这一步骤专注于让模型学习更广泛的对话语义，特别是那些开放性的对话元素。此阶段的微调有助于模型在处理更复杂、更自然的对话场景时展现出更好的性能，尤其是在理解和生成人类语言的上下文中。

通过这两个阶段的精细调整，我们的模型也处理开放性对话方面表现出了更高的适应性和灵活性。微调方法采取分别为全参数微调和指令微调，技术架构如下图所示，分别对应于全参数微调（左）、LoRA 微调（右）：

在训练过程中，我们采用的了低资源和分布式的方式去进行训练，保障模型效果的同时，加速模型训练过程，较少耗时，具体分为两部分：

• 低资源训练：我们采用 LoRA 等参数高效的微调方式进行模型训练，显著减少了模型训练的资源消耗，适用于特定场景。

• 分布式训练：为了有效处理大规模数据和复杂模型，我们合理分配了不同类型的计算资源，并使用分布式训练框架以提高训练的速度和效率。

3.3 大模型推理评测

大模型量化与推理加速为了降低大模型在实际部署过程中需要耗费大量资源的问题，我们进一步对大模型进行了量化和推理部署加速，我们尝试使用了 AWQ 对模型进行量化。研究表明，大模型在推理的时候仅保护 1%的显著权重可以大大减少误差，AWQ 量化与其他量化方式有一些处理上的差异，可以参照下图所示内容[1]：

• RTN 量化：在量化过程中忽略显著权重以提高模型的效率。虽然模型体积缩小了，但是效果并不理想，因为被忽略的显著权重具有重要作用。

• 保留 FP16 中 1%的显著权重：FP16 通道导致硬件效率低下，并且是通过激活确定显著权重，即使能保留少量显著权重，FP16 的通道限制仍然让模型性能大打折扣。

• 量化前缩放权重（AWQ）：在量化之前先对模型的权重进行常量缩放，以平衡模型中的权重差异，这样做可以在保证模型性能的同时显著缩小模型的大小，增强稳定性。

在推理加速上我们使用的是 vLLM 框架，其核心就是 PagedAttention，在自回归模型的生成过程中，Key 和 Value 缓存通常占用大量显存，PagedAttention 有效地解决了显存占用过高的问题，其核心思想如下[2]：

• 分块存储：PagedAttention 将每个序列的 Key 和 Value 缓存分为多个块（Blocks），每个块包含固定数量的 Tokens 的 Key 和 Value 张量。这种分块方式允许模型按需加载和处理部分数据，而不是整个序列的全部数据。

• 非连续显存空间利用：在操作系统中，虚拟内存允许程序使用连续的地址空间，而实际的物理内存可以是非连续的。Paged Attention 允许在非连续的显存空间中存储连续的 Key 和 Value 数据块。这样可以更有效地利用显存，尤其是在显存碎片化严重的情况下。

• 按需加载和计算：通过只加载和处理需要参与当前计算的 Key 和 Value 块，可以显著降低每次 Attention 操作的显存需求。这不仅降低了内存占用，还可以提高计算效率。

• 动态调整：根据实际需要，系统可以动态调整块的大小和数量，以优化性能和显存使用。

量化与推理加速评测结果

我们选取同量级参数的模型上对量化和推理加速后得到的结果进行了对比，结果如下：

评测结果表明，13B 的大模型的权重大小从 26.2G 大幅缩减到 7.25G 左右，显存占用大幅下降，从而显著提升了部署和推理效率。此外，经过量化处理的模型在 VQA、LLaVa-Bench 和 MM-Vet 基准测试上进行了评估，性能损失仍处于可接受的范围内。

四、大模型在快手商业化风控的应用

4.1 客户体验

在商业化场景下，确保审核结果的可解释性与透明是十分重要的，为了提升审核流程和优化用户体验，我们进行的工作如下图所示。

主要分为三个部分详细介绍如下：

• 规则搜索：系统根据对输入识别出的内容风险类型自动在规则库中检索相关规则，确保每次响应都高度相关和精确。

• Prompt 构建：结合检出的风险、相应的规则及视频字幕，系统构建用于生成回复的信息提示（Prompt）。

• 生成回复：利用大模型的强大语言理解和推理能力，根据 Prompt 生成清晰且具有高度可解释性的回复。这种回复不仅容易理解，而且能够清楚地向用户说明决策背后的逻辑，极大地提升了用户体验。

4.2 风险对抗

在风险治理过程中我们也发现有的客户为了广告点击率，试图使用低俗、甚至是色情的素材内容送审，都被平台风控识别并予以拒绝过审。这背后就是一种风险对抗的场景，以下通过几例拒审的广告素材，探讨对抗策略及其演变：

阶段一：模糊处理敏感内容。素材中出现了动画形式的色情部位，表现形式比较直接，传播低俗内容。

阶段二：隐喻性的暗示。素材通过展示香蕉和人的结合动作，进行性暗示。这种手法通过日常物品与人体结合的画面，造成了一种隐晦却明显的性关联暗示，增加了观看的争议性。

阶段三：模拟性的性暗示。素材中引入一些物品的结合，模拟色情动作，此类画面的暗示性更强

可以看出客户为规避平台审核，采取不断升级的对抗策略，挑战平台规则和法律法规。这需要平台在治理过程中，要持续迭代升级治理的策略和技术，对抗不断衍化的风险。针对这些问题，我们采用了三种方式进行检测。

智能协同——RAG 增强的自动化内容审核

核心思想是利用 RAG（Retrieval-augmented generation）进行复杂查询的生成和信息检索，结合 AutoML（Automated machine learning）的自动化模型训练和迭代，提升模型的审核能力和适应性，具体的实现流程如下图所示：

RAG 应用阶段：

信息检索和标注：利用 RAG 技术，通过图像和文本检索，从大规模的视频帧向量库中检索出可能含有风险的图像。这些被检索出的内容会由大模型进行进一步的语义标注和分类，确保信息的准确性和相关性。

AutoML 应用阶段：

模型训练与优化：通过 AutoML 技术自动构建和训练专门的小模型，针对特定的风险类别进行优化。这一过程包括模型的选择、训练、验证以及上线，大大缩短了开发周期，提高了模型的应用灵活性和效率。

智能双剑——小模型预检与大模型精查

核心思想是采用双层模型结构，首先利用风险识别能力较高的小模型对视频帧进行初步筛查，识别出潜在的高风险内容；随后，再使用计算能力更强的大模型对这些被标记的帧进行深入分析和确认，具体的实现流程图如下所示：

小模型预筛选阶段：

初步风险评估：小模型对视频帧进行快速扫描，利用其训练好的特征识别算法，高效地识别出可能包含风险的视频帧。此步骤可以大量减少需要深度分析的数据量，从而节省计算资源。

大模型精确检测阶段：

深度内容审核：对于小模型标识为高风险的视频帧，大模型进行详细的内容审核。由于已经通过小模型预筛选减少了处理量，大模型可以集中计算资源，进行更深入的分析，确保审核的质量和准确性。

智能深潜——大模型语义驱动与小模型快速检测

核心思想是使用多模态大模型对视频内容进行全面的语义解析和描述，融合通用视角表征构建 fewshot 小模型，具体的实现流程图如下图所示：

语义描述阶段：

大模型处理：利用大模型对视频每一帧进行的语义描述 Caption，还原视频的帧所表达的含义。通过大模型强大的理解和推理能力，对视频中的各种元素和活动进行全面分析和记录。

风险检测阶段：

小模型应用：采用针对不同风险类型训练的小模型对上述生成的语义描述文本进行分析，实现快速且精确的内容检测。这些小模型因其专注于特定的任务，速度快。

4.3 应对尺度变化

随着社会观念和内容消费行为的变化，内容审核的标准也在不断演进。比如在对所谓“低俗场景”的定义上，审核规则的改变对模型的识别能力和适应性提出了更高的要求。以下是“霸总”类素材的使用，我们继续探讨审核规则如何影响模型的识别和判定能力，以及在规则变化下，模型如何进行适应和迭代：

阶段一：初期审核标准。在此阶段，模型按照既定规则运作，对“霸总”类内容不进行标记，属于合规的内容。

阶段二：审核标准的调整。随着监管尺度的变化，原先的“霸总”内容，这要求模型进行调整。此时，原有小模型的鲁棒性受到挑战，需要进行迭代以匹配新的审核标准，从而避免过时的识别逻辑。

适应性模型迭代可以确保内容审核与审核标准保持同步，提高审核的相关性和准确性。这不仅可以增强模型的应用价值，还有助于避免因审查过严或过宽而引发的社会问题。针对这个问题，我们使用了两种方式去进行处理。

动态调整——RAG 增强的内容审核应对尺度变化

核心思想是通过大规模的数据检索，结合大模型对自然语言的理解能力，可以从庞大的历史违规素材库中提取出与当前审核素材相似的案例及其相关的处理规则，从而为新素材的风险判断提供有力的参考和依据，具体的实现流程如下图所示：

历史素材和规则检索：

大量相似素材检索：利用大模型的强大检索能力，快速找出与目标素材内容相近或相似的历史违规素材。

风险评估与决策支持：

综合分析和风险判断：大模型结合检索到的素材和相关审核规则，进行综合的分析和风险评估。在这一过程中，模型不仅分析内容的表面特征，还考虑了以往类似案例的处理结果和背后的规则逻辑。

双层检测——小模型快速筛选与大模型深度验证应对尺度变化

核心思想是通过分层模型的应用，先使用小模型快速筛选出高危风险内容，根据风险内容查找出更新后的规则，然后用大模型针对这些内容和相应的最新审核规则进行深入分析和判断，具体的实现流程如下图所示：

小模型初筛阶段：

高危风险检测：小模型专门针对低俗内容高危风险进行初步筛选。这些模型被训练以快速识别潜在的高风险内容，确保这些内容能够被准确识别。

大模型深度分析阶段：

结合增量审核规则的复审：对于被小模型标记的内容，大模型将结合最新的增量审核规则进行详细分析。这一步骤不仅基于内容本身，还考虑最近更新的规则，确保判断的及时性和相关性。

4.4 审核效率提升

智能总结——自动化内容归纳优化

在处理大量的自动语音识别（ASR）输出时，面临的主要挑战之一是文本的冗长和格式混乱，这严重影响了审核人员的阅读效率。为了解决这一问题，我们利用大模型的理解能力对文本进行智能总结，可以显著优化文本内容，使其更加清晰并且具有可读性。

该方式极大地提高了审核过程的效率，审核人员可以更快地处理信息，减少了处理时间和劳动强度。

辅助人审——快速关键信息标识

为提高视频内容审核的效率和准确性，同时为人审提速，实现自动处理和审核视频内容，整体流程如下图所示：

主要分为四个步骤进行工作开展：

批注文本信息抽取：对视频附带的批注进行结构化抽取，确保所有文本信息都被准确记录和转换为可操作数据格式。

视频素材底部文本抽取：对视频素材底部显示的文本信息进行结构化抽取。这包括字幕、注释或任何嵌入视频中的文字。

信息自动比对：抽取的文本信息经过算法自动比对，通过内置逻辑判断信息间的一致性与差异。

比对结果展示：最后，比对结果将直观地展示给审核人员，允许他们快速识别问题区域并做出决策。

这种方式不仅大幅度提高了审核速度，也提升了审核结果的准确性，从而优化了整个审核的工作流程。

五、总结与展望

随着技术的不断进步，人工智能正逐渐渗透到我们生活和工作的每一个角落。特别是在内容生成、理解和体验的领域，AI 技术的发展为我们带来了前所未有的便利和效率。以下是我们在风险控制场景中的一些未来展望，以及我们认为值得持续深入发展的关键领域：

1、跨模态深度融合：进一步发展多模态内容理解技术，通过实现图像、文本、音频和视频的高效融合，同时利用各模态相互验证和补充的机制，极大提升内容审核的全面性和精确度，尤其关注对含有复杂语义和含蓄信息内容的精准处理。

2、自学习的高效审核：结合大模型架构和先进的检索增强生成（RAG）技术，通过运营知识库，实现模型对最新审核标准和违规模式的实时学习和自适应。这不仅提升对新兴违规内容的预警能力，还显著减少对人工干预的依赖，大幅提高审核工作的效率和反应速度。

3、可解释和透明的 AI 审核：AI 审查模型将趋向更复杂的决策路径和逻辑，未来需要不断完善模型的可解释性机制，透明化 AI 的决策过程。这有助于用户和监管机构理解模型作出特定决策的逻辑，同时，模型决策途径也可以更有效地知道模型的优化和调整，以适应不断变化的内容审核需求和标准。

4、审核流程自动化：结合 Agent 技术，推动审核流程中各个组件的智能协同工作，根据分析结果自动选择相应的应对策略，实现视频内容审核的全程自动化，大幅减少人力成本，并提升审核工作的连续性和可靠性。

展望未来，人工智能将继续在各个基础领域实现重要突破。通过应用的多元化拓展，AI 不仅将改善我们的工作效率，还将提升决策的质量和检测的可靠性。随着大模型技术的成熟，在未来的生活和工作中，同时也会扮演更加关键和积极的角色。

本系列后续篇章还将进一步揭秘大模型评估标准 Benchmark、智能体（Agent）技术、多模态推理模型等前沿议题，持续释放技术赋能价值，敬请期待。

参考文献：

[1] Lin J, Tang J, Tang H, et al. AWQ: Activation-aware weight quantization for llm compression and acceleration[J]. arXiv preprint arXiv:2306.00978, 2023.

[2] Kwon W, Li Z, Zhuang S, et al. Efficient memory management for large language model serving with pagedattention[C]//Proceedings of the 29th Symposium on Operating Systems Principles. 2023: 611-626.