腾讯混元大模型亮相：全链路自主研发

9 月 7 日，在 2023 腾讯全球数字生态大会上，腾讯首次公开了完全自主研发的通用大语言模型——腾讯混元大模型。得益于全链路自研技术，腾讯混元大模型能够理解上下文的含义，并且有长文记忆能力，可以流畅地进行专业领域的多轮对话。

腾讯从 2021 年开始，曾先后推出了千亿、万亿级参数模型。经过多年时间的持续研发投入和积累，以及在实际应用中不断地自主研发创新，腾讯目前已经完全掌握了从模型算法到机器学习框架，再到 AI 基础设施的全链路自研技术。腾讯混元大模型的诞生，也是腾讯在大模型领域多年的积累和探索的成果。

据了解，混元大模型是从第一个 token 开始从零训练的。通过采用预训练“探真”技术、动态锯齿状注意力机制、位置编码优化、原创思维链策略等创新的大模型算法，使得大模型事实幻觉率相比主流开源大模型减少 30%—50%，并让大模型能够真正像人一样识别问题陷阱，并结合实际的应用场景进行推理和决策。

此外，混元大模型还使用了自研的机器学习框架 Angel，使得训练速度相比业界主流框架提升 1 倍，推理速度比业界主流框架提升 1.3 倍。

得益于在算法、学习框架等各个层面进行的一系列自研创新，混元大模型已经具备良好的可靠性和成熟度，其上下文理解、长文记忆能力和逻辑推理能力表现优秀。

在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中，混元大模型共测评 66 个能力项，在“模型开发”和“模型能力”两个重要领域的综合评价均获得了当前的最高分。在主流的评测集 MMLU、CEval 和 AGI-eval 上，混元大模型均有优异的表现，特别是在中文的理科、高考题和数学等子项上表现突出。

腾讯混元大模型是一个从实践中来，到实践中去的实用级大模型。它不仅展示了腾讯在大模型领域的技术实力和创新能力，更体现了腾讯在将人工智能技术应用到实际场景中的探索和实践。通过与产业数据和场景相结合，混元大模型为解决产业痛点带来了全新的思路和方案。