六问「大模型落地」— 如何打通企业智能化转型最后一公里？

作者：张红兵

枫清科技（Fabarta）合作人

ChatGPT 2022 年底出现以来，大模型热度持续不减，尤其是今年年初 DeepSeek 的爆火，更让大模型走入更多人的视野。大模型除了在 C 端（个人用户）广泛应用，在 B 端（企业）也有越来越多的企业在做落地。2025 年 8 月 26 号， 国务院发布《关于深入实施“人工智能+”行动的意见》，更将以大模型为主的人工智能技术放到更加突出的位置。“人工智能+” 行动堪比十年前国家推出的互联网+ 政策。人工智能+行业将重塑各行各业，助力数智化转型和产业重构。在此大背景下，以大模型为主的人工智能应用和落地已成为各大企业的必答题，而非选做题。

通过笔者与上百家企业客户的交流进而观察到：中国企业客户 IT 基础差异大、数据储备和质量不同、智能化进展参差不齐、AI 落地驱动力差异大，可谓是一企业一世界。我们可将 AI 在企业落地按四个阶段进行划分：

• 第一阶段：企业关注大模型，但还未进行落地。有用户觉得大模型是万能的，什么都能做；有用户觉得大模型在企业中无法真正应用，纯娱乐用途。在此阶段，需要跟客户对齐理解，了解大模型能力边界，为 AI 在企业应用打好认知基础。

• 第二阶段：企业已认可大模型价值，也在探索阶段。在此阶段，不少客户也会自己拿开源软件进行各种尝试。这类客户经常会发现大模型实际落地效果不好。此时需要跟客户对齐正确的大模型落地路线，并通过场景验证技术路线的效果。

• 第三阶段：通过探索，认可技术路线，并且开始落地。在落地时，有两种思路，一种是直接落地场景，另一种是构建平台，基于平台落地场景。如果场景相对较少，可以直接从场景出发进行落地。但如果场景多，或有统一规划，需要统一技术路线和技术栈，降低后续运维复杂度，此情况下建议基于统一的平台构建各类场景，这与大模型出现之前的 AI 平台落地类似。

• 第四个阶段：在前三个阶段都完成的基础之上，开始深入将 AI 赋能各项业务，助力企业的智能决策。

图 1：大模型落地的不同阶段

通常企业落地过程中会经历规划准备、实施落地、持续运营三个关键里程碑，在这期间有哪些要点是客户关心的？本文将其归类，简称为六问大模型落地。

01 规划准备

【定方向】第一问：大模型落地都包含哪些部分，只用大模型是否足够？

不少客户会认为，有大模型，就可以直接进行场景落地，在企业直接应用。

大模型是基于世界通识数据训练而来，作为企业级应用存在明显局限。一方面，很多企业私有化知识并没有被内化到大模型中；另一方面，大模型由于其按照概率进行“单字接龙”预测输出的技术特点，导致其必然存在幻觉，所以并不适合将大模型直接用于企业的应用。仅当在回答通用知识时，原生大模型输出结果方可作为结果参考，而专业化应用必须结合领域内知识及上下文工程进行适配和效果提升。

那大模型落地都包含哪些主要部分？下图是我们根据实践给出的企业落地参考架构。

图 2：大模型落地整体参考架构

首先大模型落地所需要的算力基础设施层通常使用主流的 Nvidia GPU 与国产 NPU（比如华为昇腾系列等）。 在硬件之上，可以统称为模型服务层，包括可运行各类大模型和专业领域模型，支持大模型训练、管理和推理服务，对模型进行全生命周期管理，同时覆盖用于模型训练或蒸馏的行业高质量数据集构建。

在模型之上，要结合企业数据进行大模型落地，我们将其称之为应用支撑中心。枫清科技的企业知识中台正是提供链接大模型和应用场景的中间层，包含知识引擎（将数据转换为知识，并且提供知识应用和运营），提供图+向量融合的多模态引擎助力知识的记忆和推理，以及智能体平台可以将知识和业务流程串联用于支撑场景应用，助力大模型对于业务价值的提升。

【选路径】第二问：是否用开源软件做落地就可以?

这是很多用户常问的问题，“我已经用开源软件进行了一些验证，并且已经运行了一些 demo 结果, 我是否可以直接使用开源工具进行实际场景落地？”

这个问题的答案依不同企业的自身诉求而异。如果客户的实际情况是做一些非常简单的验证，或者对业务垂域效果要求、数据的安全管控要求相对宽松，那用开源软件其实可以满足诉求，比如非常简单的文档问答或者工作流，使用 RAGFlow 或者 Dify 开源框架都是常见的做法。但在企业级应用中，开源软件存在如下问题：

1.如何进行复杂的企业级权限管控？

2.如何进行系统的可扩展设计？

3.如何与企业已有系统进行对接？

4.如何根据企业需求进行定制化？

5.如何兼容更多平台的不同能力？

这些问题会在自建企业级知识中台的过程中遇到，需要考虑支持从复杂的权限控制到安全体系设计、从系统可开放性设计到系统对接，从原型验证到持续运营，需要以企业级产品支撑场景落地。

以集团级规章制度问答为例，规章制度查询需要进行严格的管控公司内及跨公司权限控制，对本职能部门与上下级及其他职能部门的交互权限进行精准界定，构建清晰的权限边界。该管控模式通过限制非授权交互，从源头防范越权操作风险，保障规章制度问答在合规范围内进行。当前开源软件无法满足此类复杂的权限管控需求，而这些需求又是大型企业落地时的常见需求。枫清科技的知识中台可以实现文档、知识库、应用等不同类型的资源在用户、组织等层级的进行精细粒度权限管控，并且可以实现不同层级的权限分享，以满足企业复杂的权限管控要求。

图 3：企业级权限需求实例 -- 开源软件无法处理此类需求

02 实施落地

【找场景】第三问：场景挖掘这件事重要吗，如何找高价值场景？

传统软件开发一般需求相对可明确定义，而 AI，尤其是大模型企业落地是新生事物，其落地效果与具体业务场景和数据情况密切相关，包括大模型在内的 AI 技术都有其能力边界。因此选取高价值场景成为大模型和 AI 落地的重要环节。

枫清科技在实际落地过程中，沉淀了一系列的方法论来发掘高价值场景，包括明确用户、梳理流程、了解数据情况，从已有流程中寻找痛点，挖掘出 AI 能够赋能的场景，最终从技术可行性和业务价值度两个维度进行评估，来确定实际落地应用，进而助力流程的智能化实现。

通常场景挖掘挖掘过程中，需要业务人员深度参与，人工智能技术一定是为业务服务的，应当先与业务人员进行访谈作为输入，探索用户旅程，获取实际工作中的痛点，再看如何用 AI 进行赋能。

梳理体系会随着不同行业、不同业务诉求而变化。比如在已有客户落地过程中，我们与业务人员共创，对研产供销服完整的业务链，与通用的管理协同整体场景进行梳理，结合企业现状确定优先级列表，作为落地场景候选，进而供客户基于场景进行选择，共同进行落地。枫清科技也构建了包括 AI4S、智能经营分析等多个垂类场景方案，可以在这些业务领域为客户赋能。

图 4：场景挖掘是大模型落地的重要步骤

【理流程】第四问：大模型落地流程是怎样的？

场景选定后，我们来看实际落地的技术方案是怎样的，根据落地实践，推荐流程如下图所示。

图 5：大模型落地流程

整个流程本质上是从数据到知识再到智能应用的转化过程。输入是企业内部的多模态源数据，包括企业内部存储在关系型数据库、指标系统里的各类结构化数据、文档/图片/音频/视频等各类非结构化数据，以及外部的各类舆情/新闻报道/论文/专利等各类数据。而输出则是赋能企业业务的场景应用。中间是核心处理流程，通过知识引擎对源数据的预处理、数据解析向量化、实体及关系抽取等技术将各种多模态数据转换为知识，再存储到图和向量融合的多模态引擎中作为构建应用的知识储备，包括以实现文档问答、智能问数、图谱应用等基础知识应用。最终再结合具体业务流程，通过智能体平台串联，结合知识应用，进而实现对于各个场景的支持。在整个落地流程中，结合客户的多模态数据，基于知识引擎和智能体平台进行落地，我们称之为以数据为中心的大模型落地范式。

【看微调】第五问：需不需要微调大模型？

很多客户会关心，在上面的架构中都要调用大模型能力，那是否需要微调或者蒸馏大模型？

根据我们的经验，大模型微调并非普适性选择，而是有明确的适用边界。如果企业在特定垂直领域不存在明确的专业诉求，并且自身尚未具备高质量、成体系的领域数据积累，盲目微调往往事倍功半。如果有垂直场景需求，数据为特定领域数据（通用大模型未将此领域知识内化为模型能力），在具有高质量数据集的同时也有领域大模型构建诉求，则可以尝试领域垂类大模型。为清晰展示不同技术路线的差异与选型逻辑，我们通过下图进行对比分析来描述各种技术路线的区别。从我们的实践来讲，以数据为中心的思路进行大模型落地，可以结合具体场景进行大模型微调，无需为了微调而微调，微调的基础需要懂数据、有高质量数据。与此同时，微调是一项资源密集型的投入，它通常涉及高昂的计算成本和专业的技术实施，性价比也是重要决策依据。

图 6：RAG 与模型微调、模型蒸馏的比较

03 运营迭代

【促优化】第六问：大模型项目是不是可以像传统软件项目一样，先设定一个最终目标，仅依赖技术人员一次性调优就可交付？

从“找场景”到“理流程”便可看到，大模型落地从来不是一个仅依赖技术部门实现的项目，它需要业务部门和技术部门的共同参与，各司其职：

• 业务部门负责明确业务目标，对输入进行明确整理，在项目实施过程中进行深度参与，例如，及时提供问题与答案列表、测试用例、在测试过程中反馈实现与业务诉求不相符的内容，辅助大模型落地效果评估与持续迭代。

• 数据部门是以数据为中心的落地应用效果的第一道防线，在枫清的指标问数实施过程中，数据质量、数据加工逻辑会严重影响 AI 问数应用的准确性，在优化的过程中排查到大量数据不一致的问题对实现效果构成阻碍。

• 技术部门则作为技术落地的执行人员，解决 AI 应用实施的技术问题，并提供应用使用的培训以及持续运营的技术支持，包括但不限于对用户遇到的问题提供支持，甚至包括文件上传、权限管理等操作问题。

综合来看，在实际落地时，有三个重要影响因素：

1.业务价值是目标，所有的落地都是为业务服务的；在高价值场景挖掘中，就要挖掘和发现高价值的场景，进而让大模型在高价值场景下发挥作用，具备高的业务价值；

2.数据是基础，企业只有在数据质量满足要求的情况下，才能有好的落地效果。比如在指标问答落地项目中，客户的指标体系以及指标内容就是好的落地效果的基础，在实际落地过程中，可以反推数据质量，进而促进指标体系的标准化，从而保证落地效果。对于文档落地也是类似情况，需要保证文档的正确性。

3.技术是保障，需要了解大模型的技术边界，也了解人工智能技术中其他技术点的技术边界。在实际项目落地中，很难都用大模型来解决，有可能需要视觉模型、数据分析模型、多模态大模型等来解决，在这其中，需要了解清楚各个模型的边界和上限，进而保证落地效果。

另外，从落地场景来说，会先从外围逐步过渡到核心业务。会遵从敏捷迭代，先小步快跑快速验证，再逐步推广；需要从最开始就引入业务人员，确保共同定义目标，且及时同步进展，确保交付内容是业务想要的结果。

在场景落地后，也需要通过持续优化的方式来进行迭代和完善，不同部门协作，通过收集人工反馈，针对反馈进行场景调优、新增功能、功能解耦升级以及模型定制微调方式实现闭环反馈；同时随着经验的积累和能力提升，进而转向智能自适应反馈机制，在运营中持续提升效果。

图 7：大模型持续迭代优化流程

以上是结合我们的实践经验，针对大模型落地过程中用户常见 6 类问题给出的回答。在后续系列中，我们将针对各个部分展开详细介绍，涵盖从场景挖掘、平台建设到各个场景落地提供最佳实践分享，敬请期待。

如对我们的产品或技术感兴趣，欢迎通过 business@fabarta.com 与我们联系。