精彩回顾！圆桌讨论“大模型与网络空间安全前沿探索”

（关注“安全极客”，回复“智能体”下载第一期系列专题 PPT！）

近日，安全极客和 Wisemodel 社区联合举办了“AI+Security”系列的首场线下活动，主题聚焦于“大模型与网络空间安全的前沿探索”。在圆桌讨论环节，清华大学博士生导师、助理教授陈建军，阿尔法公社创始合伙人兼 CEO 许四清，云起无垠创始人兼 CEO 沈凯文，墨云科技合伙人彭逍遥，月之暗面安全工程师麦香和安全资深专家宁宇飞，共同探讨了大模型和网络安全前沿探索中的几个关键问题。

Q1: 如何解决大模型的幻觉问题，以提升其在 B 端应用中的鲁棒性和正确性，使其达到商业可用标准？

许四清：近年来，关于“幻觉”现象的提及频率较去年有所降低。这一变化的一个重要原因可以归结于数据质量的显著提升。随着高质量语料的持续增加，模型得以学习到更加精确的知识内容，其参数规模也随之增长，从而有效减少了幻觉的发生。此外，监督微调（SFT）方法的采用和更多专业人员的参与也在解决这一问题中发挥了关键作用。从企业服务（ToB）的角度来看，专注于特定领域被证明是避免幻觉的有效策略。通过在特定领域应用高质量的数据，无论是未经处理的原始数据还是精心筛选的优质数据，并以此对模型进行持续训练，可以显著降低幻觉现象的出现。

陈建军：在学术领域，我最近阅读了一篇探讨减少幻觉现象方法的文章。其中，最常见的策略之一是检索增强生成（RAG），这种方法通过检索高质量的知识库数据来确保生成答案的准确性。另一种策略是多模型问询，即同时向多个大型模型提出相同的问题，然后比较它们的答案一致性，并通过投票机制来确定最终的答案。这种采用民主决策方式的方法能够有效提升结果的可靠性和置信度。

沈凯文：我认为，幻觉可以被视为大模型的一种独特属性，就像雇佣的员工一样，他们可能在某些领域表现出色，而在其他领域则存在不足。因此，关键在于充分发挥他们的优势。

在实际应用中，我们需要根据不同的场景选择合适的方法。在需要人类思考和创造力的场合，我们可以充分利用大模型的能力。而在需要稳定性和准确性的场景中，我们则可以选择传统的工具。因此，我们的产品设计既融合了大模型的优势，又保留了传统工具的可靠性。

为了确保在某些特定领域的准确性，我们引入了大量高质量的安全语料，并进行人工校验。这些语料经过严格筛选，以确保在细分领域的准确性。此外，我们还利用知识图谱来提升模型的性能。

在处理具有确定性的安全任务时，我们采用了已有的标准操作程序（SOP）和实施方案。这些方案已经证明了其有效性。因此，我们开发了插件或工具引擎，整合了安全领域的现有工具。例如，我们引入了模糊测试引擎，以确保单个任务的准确性和安全性。

彭逍遥：在我们的实践经验中，大模型的幻觉现象实际上被视为一种积极特征，它体现了模型的创造性，能够产生独特的回答，满足我们的期望。然而，我们也认识到需要对幻觉进行适当的控制，以确保结果的预期性。

在实践中，我们可以将大模型的应用分为两类进行讨论：

第一类是对话式大模型。在实际应用中，我们对这类模型的限制较少，主要关注防止漏洞被利用，避免模型被用于获取敏感信息，并设置了一些道德和偏见方面的限制。在结果产出上，我们没有过多地限制模型的自由度。

第二类是在自动化渗透测试阶段使用的大模型。这类应用对结果的准确性有更高的要求，涉及到复杂的逻辑链（COT）和即时反应（React）。为了优化这些模型，我们在数据层面进行了大量的工作，包括人工标注数据和利用成熟商业模型如 GPT-4 作为导师来指导数据调整。我们在数据优化上投入了大约 80%的努力，以减少幻觉的发生。

从检索增强生成（RAG）的角度来看，安全领域的专业性为我们提供了大量的参考数据，包括历史安全专家的攻击逻辑、ATT&CK 模型和 CCTI 相关的威胁情报。这些数据为我们提供了高度指导性的信息。结合大模型的反馈和 RAG 数据作为提示，我们能够实现更有效的产出。

在实际操作中，我们对模型的表现进行了量化分析。在基于漏洞和攻击行为的推理阶段，模型的准确度较高，因为漏洞和 ATT&CK 子技术之间有良好的对应关系。然而，在通用性漏洞发现方面，模型的表现尚不尽如人意。尽管在效率上比传统方法提高了约 20%，但整体效果还未达到预期的商业化水平。这是我们在实践中获得的重要体会。

麦香：我认为，通过不断的训练优化和调整权重配比，可以显著提升模型的性能。我们的实践证明了这一点：经过多次的尝试和反馈循环，我们发现了确实能够有效提升模型表现的方法。在训练过程中，我们特别重视反馈环节，认为它是模型优化的重要依据。我们根据反馈信息不断调整和改进训练方法，虽然在一开始我们对训练结果的具体预期并不明确，但随着持续的改进，我们逐渐看到了模型在表现上的显著提升。这种方法论不仅增强了我们对模型的信心，也为我们的工作提供了明确的方向和动力。

宁宇飞：为了解决幻觉产生的时间差问题，我们需要加快小模型的学习速度和新权重文件的合并效率。幻觉产生的一个重要原因是模型尚未吸收最新的知识，因此我们依赖检索增强生成（RAG）方法来弥补这一知识缺口。如果团队能够快速迭代私有化模型，将有效解决这一问题。通过加速模型的更新和迭代，我们可以确保模型能够及时学习到最新的信息，从而降低幻觉发生的频率。

Q2: 在网络空间安全领域，大模型的应用与商业化正在积极探索中。专家们认为“安全+AI”的未来应用方案将朝哪个方向发展？是垂直模型、智能体，还是其他形态？

许四清：在阿尔法公社的公众号上，我们每周都会发布 AI 周报，深入分析美国硅谷的前沿投资案例，以洞察那里的发展动态和投资趋势。在过去六个月中，我们注意到有大约七到八家公司专注于安全与大语言模型相关领域，并成功获得了超过 2000 万美元的投资。这一现象表明，随着人工智能技术的飞速发展，安全领域正面临着新的挑战，对于从事安全工作的人来说，这是一个积极的信号。

在过去，从商业角度来看，安全领域的机会相对分散，新公司很难实现大的突破。然而，大语言模型的出现为安全领域带来了全新的机遇。我个人认为，尽管这有点偏离主题，但大语言模型带来的前所未有的安全挑战实际上是一个巨大的商业机会。同时，在学术研究方面也存在着大量的机会。因此，围绕大语言模型的安全问题进行工作，无论是从商业还是学术的角度来看，都蕴含着巨大的潜力。

陈建军：我认为大模型的最终形态可能已经在科幻小说中得到了预见，比如《钢铁侠》中的智能助手“贾维斯”。这样的助手能够随时待命，兼具垂直模型和智能体的双重特性，能够成为个人全方位的辅助。此外，还有一种科幻场景是类似于“天网”的集成式大模型。然而，从长远来看，这种模式可能并不会得到很大的发展。相反，定制化的个人助手可能更符合现实世界的需求。例如，个人编程助手、股票投资决策助手或法律事务助手等，这些针对特定需求的个人助手，可能拥有更大的发展空间和应用潜力。

沈凯文：智能体的发展可以被看作是通往终极网络安全 AGI（通用人工智能）的一个重要阶段。它能够在特定领域内补充知识和工具，提高我们的工作效率和能力。在过去，由于 AI 的能力尚未达到人类的水平，其使用者和进步的速度都相对有限。然而，一旦 AI 的能力超越了普通人类或初级工程师，其发展速度便会显著加快，这主要得益于大量用户的反馈和数据的积累。

去年，机器人领域取得了重大突破，其发展速度之所以迅猛，正是因为有了大量人类数据的支持。同样的原理也适用于网络安全领域。我们与众多客户达成了共识：当一个 AI 产品在推出时能够达到 80%的人类能力水平，它就已经具备了实用价值。此时，如果有数百万用户使用该产品，并通过他们的反馈和数据收集，AI 产品将能够快速迭代和改进。

这种进步的关键在于通过人类的反馈和数据积累，形成大模型的数据飞轮。只要我们能够开发出一个爆款产品，或者是一个被广泛应用的专家级产品，并收集到高质量的用户反馈数据，我们就能够进一步推动产品向真正的通用人工智能方向发展。这是我们对于未来发展的展望和信念。

彭逍遥：我认为，专注于垂直领域模型训练和智能体开发并不是相互排斥的，而是可以互相补充和增强的。从灵活性和实际应用的角度来看，智能体模式更为便捷和实用。在垂直领域大模型方面，它们在解决如 XDR（扩展检测与响应）等问题上表现出色，能够辅助安全运营中心（SOC）分析告警，区分哪些是误报，哪些是真正需要关注的安全威胁。

然而，当我们从攻击者的角度考虑时，情况就变得更加复杂了。由于攻击数据与用户关系、资产场景紧密相关，仅仅依靠历史训练数据很难直接得出精确的判断。在这种情况下，智能体的优势就更加明显了。智能体能够根据实时数据和场景进行动态分析和响应，从而更有效地识别和应对安全威胁。因此，结合垂直领域模型和智能体的优势，我们可以在网络安全领域实现更全面、更高效的防护。

麦香：在我看来，现有的解决方案，无论是专注于特定领域的垂直模型还是智能体，都不应被视为最终目标。人工智能的发展速度迅猛，尤其是随着越来越多的企业将 AI 集成到他们的战略规划中，通过引入 AI 基础设施来驱动变革，这意味着现有的方案可能会在几个月甚至几周内发生显著变化。

我们需要考虑的是，是否应该采用自主开源的解决方案，或者是基于商业产品的解决方案，以及是否与现有的大型企业建立合作。这些企业在资源和数据方面可能拥有显著的优势。然而，综合考虑这些因素，问题的答案并不明确，我们需要持续关注 AI 领域的最新动态，并准备好根据技术的发展和市场的变化来调整我们的策略和解决方案。

宁宇飞：我认为，针对不同的实际应用场景，我们需要采取不同的解决方案。例如，对于数据中心、威胁情报等常见的安全场景，未来的趋势可能是采用针对特定场景的私有化模型，结合私有化的检索增强生成（RAG）和定制化的 AI 工作流程。这种定制化的解决方案能够更准确地理解和满足特定场景的需求，提升自动化处理能力，并且更容易实现流程的编排和整合。

私有化模型的优势在于它们能够根据特定环境进行优化，提供更加精准和安全的服务。结合定制化的 AI 工作流程，企业能够构建更加灵活和高效的安全管理体系，以适应不断变化的安全威胁和挑战。因此，针对特定场景的私有化模型和定制化 AI 工作流程可能会成为未来安全解决方案的主流趋势。

Q3: 随着大模型智能安全产品的能力、自动化程度和自主决策能力的增强，未来的智能安全产品能否替代企业中的安全从业者？未来的安全团队将如何工作？

许四清：随着计算机技术的持续进步，尤其是近年来互联网和移动互联网的迅猛发展，人们对网络安全的担忧并没有减少，反而随着形式的变化而增多。过去那些较为基础的职位似乎已经逐渐消失，取而代之的是更加复杂和高级的安全挑战。近期举办的 Google I/O 大会给我留下了深刻的印象，因为人工智能的显著进步正推动计算机领域经历一场深刻的革命。从操作系统层面开始，例如 Google 已经将 Assistant 深度集成到 Android 系统中。未来的操作系统可能会打破微软或苹果现有的模式，转而成为集功能性和智能化于一体的系统。这意味着安全领域将面临更为严峻的挑战，因为人工智能的广泛应用使得安全问题变得更加错综复杂。无论是恶意攻击者还是安全防御者，都将利用人工智能技术，这为安全领域的专业人士带来了更多的挑战和机遇。

陈建军：从学术角度出发，我认为人工智能并不会取代安全领域，而是将其推向一个全新的高度。有人预测，未来可能只剩下两种职业：与 AI 相关的工作和安全领域的工作。安全专家将负责确保智能系统的安全性。这种观点的形成主要是因为我们对人工智能的工作原理和能力理解不足，尤其是其泛化能力和决策能力的来源。

因此，未来的安全研究可能会发生变化。传统的安全研究主要集中在 CPU、内存、硬件 IO 等方面，而未来的研究可能会更加注重算法、模型分层、规律机制等方面。由于我们对人工智能内部运行逻辑的理解不够深入，研究如何输入和操控人工智能内部逻辑的输出可能成为未来安全研究的重要方向之一。

沈凯文：在我看来，未来的安全专家将扮演 AI 导师的角色，更像是带领一位能力出众的学徒。我们帮助 AI 理解一些专业领域的知识，而 AI 在处理大规模任务时发挥作用。由于人类无法持续高效地进行大量重复性工作，AI 将承担这些任务并发挥其优势。这意味着我们将依赖 AI 或大型模型来完成具体工作，从而实现规模化并创造经济价值。

彭逍遥：从我的角度看，AI 对人类起到了积极作用，不会因为 AI 的介入导致大量失业。失业问题实际上是工作模式变化的问题。AI 的介入类似于计算器进入我们的生活，替代了一些普通、无需过多人设计的任务，或是机器能做得更好的场景。我们可以借助 AI 完成以前不太容易完成的工作。在安全行业，AI 帮助我们处理基础工作，让我们能够专注于更高要求的新任务。

麦香：作为 AI 公司的甲方，我们目前在业务形态上并没有显著更新，只是保护的边界更加清晰，并且针对大模型有一些特殊性。在未来的场景中，安全人员的配比可能不会显著增加，但他们需要更加了解整个安全流程，并依托自身以及云厂商或外部 AI 公司提供的资源。因此，我认为岗位需求总体上会减少，而专家的角色会更加细分和专业化。

宁宇飞：我认为，从目前的行业态势来看，部分传统安服人员或安全专家可能会被替代或需要转型。这些传统的角色需要学会使用 AI，深入掌握开源微调技术，或者能够设计和实现完整的 Agent 方案。不论是对甲方进行交付，还是自身工作方式的转变，传统方法必然会被部分替代。这将促使现有人员学习使用 AI，或与 AI 产出结合，共同完成工作。这是一个明显的趋势，并且已经开始显现。

写在最后

大模型的出现为网络安全带来了新的变化，引发了关于安全大模型和大模型安全的研究与讨论。本期活动除了嘉宾分享“大模型与网络空间安全前沿探索”内容外，还有许多领域和新话题需要进一步研究和探讨。未来，我们将设置更多相关话题，与大家共同探讨和学习。

"AI+Security"系列第二期专题分享嘉宾火热征集中。我们诚挚邀请来自人工智能（AI）和网络安全领域的行业专家与领军人物，共同参与分享。一起深入探讨并分享关于"AI+Security"技术理念的见解和经验。我们期待您的加入，一起推动 AI 与安全技术的融合与创新。