大模型应用开发之道圆满举办

技术革新日新月异，大模型的兴起更是颠覆了千行百业。自 ChatGPT 问世以来，大模型的应用前景充满了无限的机遇与挑战。

12 月 16 日，在 2023 开放原子开发者大会的“大模型应用开发之道”分论坛上，众多人工智能领域的从业者和技术专家齐聚一堂，围绕大模型应用开发的现状和未来发展等相关话题，碰撞出了诸多思想的火花。

业内专家齐聚

探讨大模型开发之路

论坛由开放原子开源基金会 TOC 主席谭中意担任出品人，在 CSDN 内容生态总监董世晓的主持下，5 位行业专家聚焦于开发者在大模型开发过程中所面临的工程挑战，共同探讨大模型开发之路。通过分享成功的案例经验，以及深入剖析大模型开发的多个方面，帮助开发者对大模型开发的全貌有更深入的理解，便于应对实际应用中的挑战。

阿里巴巴通义实验室研发总监 周文猛

周文猛在《魔搭社区及其应用生态》的主题演讲上，以魔搭社区为例，阐述了模型社区发展需要关注的五个方面，一是模型社区的生态是核心，需要持续更新和优化大模型，并分享最佳实践，让更多人了解和使用最新的模型和技术。二是数据集在 AI 应用生态中非常重要，魔搭的数据集覆盖了不同领域的不同场景，便于大家更好地使用 LIM 和其他大模型。三是通过开源版 GPTs AgentFabric，用户可以轻松在魔搭上创建和分享自己的应用和想法，促进交流和碰撞。四是云上算力支持，帮助用户可以利用资源进行应用开发和相关体验。五是为开发者提供 ModelScope。六是在云上的环境优化中，云上 Notebook 开发的下载速度达到 400 兆以上，可以提高大模型的体验。

Byzer 社区 PMC、Kyligence 技术合伙人 祝海林

祝海林在《基于 Ray 和 Byzer，快速构建以大模型为核心的生产级应用》的主题演讲上，阐述了 Ray 是支持传统语言分布式编程的分布式框架，基于 Ray 之上开源的一套帮助企业开发大模型应用开发套件，例如为大模型而生的检索系统的 Byzer-Retrieval、大模型全生命周期管理的 Byzer-LLM、应用开发框架 Byzer-Agent。其中，相较于缺点较多的传统的基于大模型的开发模式，Byzer-Agent 框架的开发模式呈现出诸多优势，一是 Agent 可以充分激活大模型在各领域的潜力，从开发角度也可以更好地进行 Prompt 管理；二是提供了 Agent 之间的通讯和存储，可以方便 Agent 之间的协作完成用户需求，并且保留对话信息；三是相比其他 Agent 框架，Byzer-Agent 支持以 Agent 或者 Agent 组为粒度实现分布式，并且每个 Agent 可以支持不同的模型。

Zilliz 开发者生态布道师 李成龙

李成龙在《走进向量数据库，让 LLMs 停止幻觉》的主题演讲上表示，针对大语言模型在缺乏领域特定信息、容易产生幻觉、无法获取最新信息、不变的预训练数据上的局限性，李成龙提供了四个方面的改进思路，一是建立知识库以拓展认知边界，通过 Fine-tuning 针对专业领域进行训练；二是使用提示词工程规定限制，确保模型提供的信息准确可靠；三是利用向量数据库为大模型建立记忆，及时更新，确保与现实世界保持同步；四是通过 RLHF 人工纠正再次微调，从知识库中剔除无效信息，提高模型的准确性和可靠性。同时，李成龙还分享了 Zilliz 企业级产品 Zilliz Cloud 的功能架构，核心亮点以及典型应用案例。

中软国际 AIGC 研究院平台部总经理 黄伟聪

黄伟聪在《构建企业级 AIGC 应用的典型模式和实践》的主题演讲上表示，企业级 AIGC 应用的结果可信和应用可运营是其成功的关键。为了达成这一目标，黄伟聪以一个实际项目为例，阐述了其中的 3 个步骤，一是采用大模型+PBC 这种新的 AIGC 应用生成范式，通过编排来构建坚实的可运营基础，降低大模型的不稳定性；二是提升大模型在 NL2SQL 上的基础能力，达到基本可用的状态；三是通过 AIGC 应用的交互增强，实现用户可以干预并追踪整个过程以及生成过程可完整回溯，从而进一步提高应用的可信度。一切都旨在确保 AIGC 应用不仅高效可靠，还能在实际应用中赢得用户的信任。

蚂蚁集团 AI Infra 团队负责人 张科

张科在《蚂蚁 AI 工程实践分享》的主题演讲上表示，目前 AI 工程的现状包括模型参数量大、智能算力需求大以及开源框架多样化。这些特点为 AI 工程带来了巨大的潜力和机遇，同时带来了新的挑战，例如模型训练实验成本、训练算力效率、训练稳定性、推理成本、AI 工程技术选型和人力投入等问题。对此，蚂蚁 AI 在工程实践上做出了四个举措，一是通过开源大规模智能分布式训练系统 DLRover，优化整个训练流程，提升了系统的效率。二是采用了分布式推理技术，以应对大规模模型的推理需求。三是使用 GLake 对训练推理过程中的显存和传输进行了优化。四是推出了“优化器三部曲”系列，能够实现 AI 训练节约资源、提升泛化、加速收敛等目标。

圆桌对话：

大模型应用开发启示录

在圆桌环节，几位业界翘楚就“大模型应用开发”这一议题，展开了深入而富有洞见的圆桌对话。

主持人：首先，请各位分享一下从自己的经历或实践中出发，感受到大模型为开发者带来了哪些“变”与“不变”？

周文猛：我认为，用户的根本需求和具体应用场景的问题是始终不变的。然而，变化的是大模型技术的发展速度正在不断加快，应用开发和创建的节奏也在同步提升。这就要求我们必须具备更加敏捷的思维和行为方式，以适应这种变化。

祝海林：随着大模型的引入，软件开发模式经历了革命性的转变，从传统的编程范式演进到与智能体互动的编程，需要思维方式上的革新。尽管目前大模型的能力尚在成长之中，但我对其未来的发展前景持乐观态度。在这一切变化之中，唯一不变的真理是软件决定整个世界。

李成龙：在我看来，数据的核心地位是永恒不变的。无论是传统软件开发还是大模型开发，数据都扮演着至关重要的角色。变化主要体现在两个方面：一是开发方式的转变，相较于传统软件开发，大模型开发的时间周期显著缩短；二是数据管理的变革，向量数据库等工具可能变得越来越重要，因为需要提取和利用文本、图片等更多信息。

黄伟聪：尽管技术不断演进，但始终不变的是对客户价值和实际应用场景的深刻理解，以及数据的重要性。变化的方面主要体现在软件生成的方式上，新一代的软件生成方式可能与传统的编码方法有显著差异，这要求我们持续探索和创新。

张科：我观察到三个关键方面的变化。一是数据驱动思维，在大模型的应用背景下，开发者必须更加专注于如何为应用产品持续提供高质量的数据，以实现更高级别的智能化。二是智能思维，开发者需要采用更智能化的设计理念和方法，以创造出更加智能和高效的产品或系统。三是合规性，在大模型使用大量数据的情况下，开发者需要更加注重合规性。

主持人：在“变化”之际，几位老师有哪些建议？

祝海林：我们需要拥抱新鲜事物，无论 AI、大数据浪潮或移动互联网浪潮如何发展，保持拥抱新鲜事物的态度对开发者很重要。

周文猛：跟上时代变革，最核心的是需要保持较强的学习能力。其次，大模型可以提高工作效率，大家有更多精力关注工作之外的事情。

黄伟聪：首先，以开放的心态拥抱新鲜事物，并整合到日常工作流程中。其次，还需要面向客户实际需求场景，利用新技术帮助工作。

李成龙：我坚信，大模型具备重塑业务流程的潜力，能够在提升工作效率和精确度方面发挥关键作用。展望未来，我们应该探索如何将传统工作与大模型相结合，利用大模型来增强业务成效。

主持人：在各位所在的企业中，使用或重新设计基于大模型的应用是否是为主流情况？对于直接在大模型上开发 AI 原生应用，未来何时可能出现有代表性的突破？

周文猛：魔搭社区采用了基于大模型的 Agent 技术，这一创新技术已经转变了人机交互的方式，允许用户通过自然语言与机器进行沟通，并执行相应的任务。我们已经尝试将这一技术与商业应用及阿里云产品结合，并在 Demo 中展示了如何通过对话来管理、检索和分享文件，极大地简化了人机交互过程，并提供了卓越的用户体验。我认为这项技术的成熟度已经达到了 80%，而剩余的 20%问题，包括提高大模型的准确度和推理能力，有望在未来一年内得到解决。

祝海林：开发一个 AI 应用是一个复杂且庞大的工程，目前我们仍有许多改进空间。我们正在积极研究 Agent 技术，这一领域未来有望得到更广泛的应用，尽管目前还处于起步阶段。我对于大模型技术的突破抱有高度期待，这将极大地减少对人工定义流程的依赖。我相信智能体代表了技术发展的未来趋势，因此在技术路线的选择上，我们应保持独立思考，不应完全依赖 OpenAI 的理念。

黄伟聪：尽管我们尝试了包括 GPT-4 在内的多种模型，我们依然认为 OpenAI 的模型在技术上处于领先地位。模型能力的提升对于上层应用的发展潜力有着深远的影响。在讨论 Agent 的应用时，我们必须从实际落地的角度出发。如果模型的能力足够强大，那么产品和工程所需的工作量可以相应减少；反之，我们就必须投入更多的工作来弥补这一差距。

主持人：各位对于正进行或未来计划从事大模型相关工作的开发者，有什么经验分享？

张科：我鼓励大家敢于想象、创新，共同建立 AI 和 AI Infra 的开源生态。

黄伟聪：我觉得可以从三方面出发，一是开发者应勇于尝试最新技术，积极拥抱 GPT 等先进模型。二是不断探索模型能力的边界，以开放心态适应技术变革。三是提升自身技能，以适应不断变化的开发环境。

李成龙：我鼓励大家走出技术舒适区，勇敢地探索和尝试大模型等前沿技术。同时，我们应当拥抱创新精神，淘汰那些已经过时的技术，积极发掘和利用大模型所带来的巨大潜力。最后，我希望开发者们能够勇于实验新技术，不断拓宽我们的技术视野和认知边界。

祝海林：在大模型领域，竞争异常激烈，开发者必须寻找独特的差异化路径以脱颖而出。Meta 和 Google 已经通过差异化策略取得了显著的成功，开发者可以从中吸取宝贵的经验。例如，开发者可以在开源社区中寻求合作伙伴，共同推动技术创新。在大模型领域，合作与差异化是开发者成功的关键。

周文猛：我热切希望更多的年轻开发者能够加入魔搭社区，亲身体验最新技术和创意的魅力。中国的开源社区应当坚持合作共赢和差异化的发展理念，我诚挚呼吁开发者们保持开放的心态，与其他开发者携手合作，共同为技术创新贡献力量。

大模型应用开发的未来

值得翘首以盼

如今，大模型时代已悄然来临，其颠覆传统开发范式的趋势日益明显。虽然应用前景广阔，但尚未完全挖掘其潜力。要真正实现大模型应用开发落地，还需要大量的实践和探索。

展望未来，2024 年将是大模型应用开发继续崭露头角的一年。我们翘首以盼它在各个领域中不断推陈出新，开拓进取，为人工智能领域注入新的活力和动力。在这个充满变革的时代，我们将携手见证大模型应用开发的辉煌成就，共同开创人工智能的新篇章。