大模型后训练时代，“呼唤”普惠算力服务新范式

9 月 12 日，由工业和信息化新闻宣传中心承办的“算力服务高质量发展论坛”在 2024 中国国际服务贸易交易会期间召开，九章云极 DataCanvas 公司 AI 首席科学家缪旭受邀出席论坛，并发表“大模型后训练时代的算力服务思考”主旨演讲。

本次论坛以“以算凝力,融创未来”为主题，汇聚来自政、产、学、研界多位重量嘉宾，剖析算力产业最发展新趋势，分享算力基础设施建设实践经验，共同探讨算力服务高质量发展之道。

论坛上，缪旭先生在演讲中表示，随着基础模型面临的挑战不断升级与复杂化，大模型后训练模式正在崛起，成为应对上述挑战的关键路径。然而后训练模式的复杂性与高度定制化需求，对算力资源的精准调度、灵活配置和高效利用提出了前所未有的高标准挑战，企业亟需高质量、高效能、更经济、更好用的算力服务新范式。

九章云极 DataCanvas 公司 AI 首席科学家缪旭发表演讲

更自动、更高效、更精准，大模型后训练模式崛起

缪旭指出，当前基础模型发展迅猛，拥有广泛的行业应用潜力，但也面临着提示词工程复杂度高、难以规避的幻觉问题、规划能力不足以及高昂的成本负担等核心挑战。缪旭表示，通过大模型后训练策略的补足，可以有效应对上述瓶颈。

大模型后训练的核心策略为，在大模型基础训练完成后，通过使用新的数据集或任务对模型进行再次训练，以提高模型的适应性和性能。这个过程通常包含提示词设计、模型微调、embedding 优化及调度优化等多个环节。

具体而言，大模型后训练的过程如下：将复杂的业务逻辑梳理并封装成独立的、可管理的任务模块；随后针对每个单一任务模块实施精准的后训练微调，以增强其针对特定任务的适应性和性能。在完成模块集成重组后，结合业务系统及用户的互动反馈，持续进行自我学习和自我增强，最终实现模型性能自动、高效的持续提升。

大模型后训练方法的补足

新标准、新需求、新模式，普惠算力开启 AI 新时代

在大模型后训练的过程中，算力调度尤为关键，包括训练期的数据准备调度、微调任务编排，以及推理阶段的动态加载和异构算力管理。通过在调度过程中引入可训练的调度模型，在优化目标时增加效率和成本计算，结合线上、线下收集的数据持续优化调度模型，可以从软件层面有效提升算力调度能力，并降低计算成本，使算力应用更加贴近实际应用场景。

不同任务工作流的安排调度

在数据存储与处理的关键环节，大模型后训练模式对系统的安全性提出了更高要求，以确保算力资源能够无缝且安全地融入各类业务系统。依托业务系统与互联网的海量数据资源，以任务为驱动，大模型可以智能识别任务需求，自动收集并处理所需数据，生成高质量的微调数据集。此外，应用存算一体架以构可以有效降低数据传输的带宽消耗，提升数据处理的整体效率与安全性。

面对不同行业、不同场景的多样化大模型后训练需求，基于 Alaya NeW 高效的算力管理内核，九章云极 DataCanvas 公司提出国际首创的算力服务新范式，凭借统一性能基准、资源管理优化、方便估算成本收益、算力一体化等优势，提出了统一的算力服务计量单位“度”（DCU），并用其实现标准化的算力计量计费，让算力消费者轻松获得好用、经济、普惠的算力服务，实现算力资源 0 浪费。此外，通过提供完整的大模型+Agent 开发工具链，Alaya NeW 为各行业用户提供灵活的大模型和 AI Agent 定制能力，加速人工智能技术在各领域的深度融合与广泛应用。

作为国内领先的人工智能基础设施提供商，九章云极 DataCanvas 公司将继续坚持 AI 技术的自主创新，以领先的 AI 智算产品推动算力服务向更高质量、更高水平迈进，深度赋能千行百业的数智化转型。