实用 AI 与 LLM 安全措施：保障企业未来安全

人工智能（AI）和大型语言模型（LLM）已从新颖创新转变为企业环境中的必备工具。然而，随着 AI 技术的不断进步和新安全问题的出现，企业在应对围绕 AI 的矛盾信息和流行误区时面临着巨大的学习曲线。

Bishop Fox 与 Moveworks 的首席信息安全官 Damián Hasse、Moveworks 的安全与隐私工程师 Emily Choi-Greene 以及 Bishop Fox 的首席研究员 Rob Ragan 进行了一次炉边谈话。“企业实用 AI 和 LLM 安全缓解措施”网络研讨会重点介绍了当今企业的重大进展、挑战和安全考量，并分享了行业领袖的实用建议和真实案例。

在本博客中探索网络研讨会的亮点，并不要错过按需观看的机会。

企业解决方案中 AI 的演进

AI 在企业技术中的使用已经从基本的聊天机器人发展到复杂、灵活的解决方案。早期的机器人受限于刚性编程（想想具有“选择 A、B 或 C”功能的机场值机亭），已经让位于能够理解并处理复杂查询的高级系统。

早期的机器学习（ML）工具是判别式模型。这意味着它们接受输入并根据一组定义的选项进行分类。分类可以基于用户意图（他们试图做什么？）、二元答案或识别用户句子中的关键实体（例如“我在找我的薪水”中的“薪水”）。

生成式 ML 模型则更进一步。与判别式模型不同，生成式 ML 模型理解语言并使用它生成全新的文本，如摘要、重述或合成。

判别式和生成式模型并不互斥。企业可以同时使用判别式和生成式模型；例如，在分析客户问卷时，使其销售团队能够提出更有针对性的后续问题。公司可以根据定义的标准提取数据（判别式）并生成合成概述（生成式），包括允许查看源数据的引用。

AI 具有彻底改变企业运营的巨大潜力，但集成这些技术充满挑战。阻碍 AI 解决方案采用和有效性的常见问题包括可用性、成本和延迟。

克服这些障碍的推荐方法包括积极管理用户期望。例如，为了解决延迟问题，AI 解决方案可以向用户提供关于正在采取步骤响应其请求的实时反馈。自动状态更新如“我正在搜索我们的知识库”可能有助于向用户显示 AI 解决方案正在处理请求，即使结果没有立即出现。

导航 AI 安全风险

与 AI 模型相关的重大安全风险包括数据投毒、过拟合和数据泄露。

数据投毒

传统上，数据投毒涉及进入训练数据集的信息，这些信息扭曲了模型的行为方式。但考虑到大型语言模型训练的数据集规模巨大，这种类型的数据投毒在 LLM 中相对少见。

然而，更常见的是 ML 模型从内部数据源中浮现信息，这些数据源由于不正确或过时的数据而意外被毒化。虽然这可能导致错误，但它有一些意想不到的好处，例如帮助客户识别需要更新的基于知识的文章。

过拟合

过拟合限制了模型从其训练数据中泛化的能力。这可能是因为训练数据集严重偏向特定示例，或使用了非常相似的评估和训练数据。

与数据投毒一样，由于 LLM 训练数据集的庞大规模，过拟合的风险较小。缓解这两种风险的推荐策略包括使用多样化的数据集并借鉴可信来源，确保模型既准确又具有弹性。

数据泄露

数据泄露威胁涉及意外的信息泄露。掩码数据、差分隐私以及将使用与训练分开有助于遏制风险，尽管随着环境的快速变化，保持警惕仍然关键。数据泄露也可能由于涉及但不由 AI 引起的 flawed 过程而发生。

我们的专家指出，实施控制措施以防止 AI 模型为自己或其他 AI 模型做出安全决策至关重要。这有助于避免混淆代理攻击，这种攻击发生在实体操纵另一个具有更高特权的实体执行未经授权的操作时。

Moveworks 通过防止其自身产品背后的 AI/ML 模型确定用户是谁或他们可以采取什么行动来解决这个问题。这由用户身份及其相关的用户实体来确定，以最小化 AI 模型做出引发安全风险的决策的可能性。

差分隐私：深入探讨

差分隐私处于 AI 数据保护技术的前沿，提供了一个在模型训练中使用数据而不损害个人隐私的框架。

简单来说，差分隐私意味着给某人合理的否认，即他们的数据包含在训练数据集中。向数据集中添加受控的随机噪声意味着无法将数据归因于特定个人或群体，但模型仍然可以很好地泛化。

这种主动立场对于希望利用 AI 和 LLM 而不损害数据完整性的公司至关重要。

企业采用 AI 的考量

在开发内部 AI 能力与与第三方 AI 供应商合作之间做出决定对企业至关重要。这一选择取决于对与 AI 技术相关的安全、数据处理和隐私政策的透彻理解。

构建内部 AI 项目是一项艰巨的任务，需要大量专用资源来确保安全的基础设施、开发和部署。使用第三方将这些努力外包，但需要 meticulously 考虑的供应商选择和管理。CISO 必须评估供应商的数据处理、访问控制、删除过程、审计能力和合规性。

虽然本地选项有时被认为比基于云的解决方案更安全，但这不一定成立。无论为组织选择哪种设置，适当的威胁建模对于强大的安全态势仍然至关重要。

我们的专家强调了将已建立的 Web 安全概念与 AI 安全进行比较的价值，以帮助安全团队将他们现有的知识连接到这个新领域。例如，展示混淆代理攻击如何类似于服务器端请求伪造（SSRF）为寻求采用或构建 AI 技术的安全团队提供了一个合理的类比。

结论

随着 AI 继续塑造企业技术的未来，采取实用、知情的方法是利用其潜力同时最小化安全风险的关键。我们必须保持警惕，利用所学经验为全球企业培育一个安全可持续的 AI 驱动未来。

要深入了解此主题并了解更多关于导航 AI 采用的复杂地形，请确保收听炉边谈话。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手