月之暗面 Kimi 智能助手实现 200 万字长上下文，火山引擎提供云服务支持

2024-04-03
云南
本文字数：2079 字
阅读完需：约 7 分钟

2023 年 10 月，Kimi 智能助手初次亮相便凭借 20 万汉字的无损上下文能力，帮助用户解锁很多新的使用场景，包括专业学术论文的翻译和理解、辅助分析法律问题、快速理解 API 开发文档等，获得用户口碑和业务量的双增长。

2024 年 3 月，月之暗面（Moonshot AI）宣布 Kimi 在长上下文窗口技术上取得新突破，无损上下文长度提升了一个数量级到 200 万字。月之暗面相信，大模型无损上下文长度的数量级提升，会进一步帮助大家打开对 AI 应用场景的想象力，包括完整代码库的分析理解、可以自主帮人类完成多步骤复杂任务的智能体 Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。

过去要 10000 小时才能成为专家的领域，现在只需 10 分钟，Kimi 就能接近任何一个新领域的初级专家水平。支持 200 万字超长无损，Kimi 让用户更加轻松的快速学习新领域。比如，上传一份完整的近百万字中医诊疗手册，Kimi 可以针对用户问题给出诊疗建议。

1712108634770902.png

快速整理大量的资料也是不少用户在工作当中所遇到的挑战，以简历筛选为例，公司 HR 可以基于企业业务需求，通过 Kimi 精读 500 份简历，速找出有某个行业从业经历，同时从计算机类专业毕业的求职者，更加高效地筛选和识别合适的候选人。

1712108649811640.png

从 20 万字到 200 万字，由于没有采用常规的渐进式提升路线，月之暗面团队遇到的技术难度也呈指数级增加。为了达到更好的长窗口无损压缩性能，研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走“滑动窗口”、“降采样”等技术捷径，攻克了很多底层技术难点。

在产品研发和推广过程中，月之暗面与火山引擎展开深度合作，进行联合技术创新，共同推进大型语言模型在垂直领域和通用场景的应用落地。

超大规模多模态大模型预训练快、稳、省

在大规模的训练过程中，GPU 资源利用损耗、千卡任务故障概率指数增长、模型梯度爆炸、训练效果缺少及时反馈等困难常常影响模型的训练效率，导致数据和算力的价值难以充分发挥。

火山引擎机器学习平台沉淀形成全栈 AI 开发工程优化、任务故障自愈、实验可观测性等解决方案和最佳实践，为月之暗面提供了高效率、稳定、可观测的一站式 AI 算法开发和迭代服务。在 Kimi 的打磨和发布过程中，月之暗面基于火山引擎提供的超大规模 AI 训练和推理加速解决方案实现了数千卡单一大集群规模常态化训练，帮助团队快速完成大型语言模型的持续训练迭代、精调和推理。

大模型训练过程中自定义任务与开发机繁多，由于任务的启停时间不一致，不可避免会出现 GPU 碎片问题导致任务调度不上。火山引擎机器学习平台通过 Binpack 背包算法汇聚降低碎片，并使用调度器定期驱逐，大大提高 GPU 资源利用率，保障任务快速执行。同时，GPU 弹性计算实例可灵活调度资源，随用随取，最高可以为月之暗面节省 70%的算力成本。

大模型训练是一个迭代的过程，需要进行海量实验。火山引擎机器学习平台支持交互式调试，集成了 JupyterLab、TensorBoard、VSCode、实验管理工具等，帮助观测实验各类指标。同时，大规模分布式训练任务很可能会出现软硬件、网络等问题，火山引擎提供了一系列自动化故障自愈流程机制，如慢节点自动巡检、故障自动检测、故障注入演练等，帮助大幅减少故障对任务的影响。

数据飞轮加持模型训练，实现全面降本增效

在与火山引擎的合作中，月之暗面团队应用了火山引擎数智平台 VeDI 旗下云原生大数据平台 E-MapReduce 和增长分析 DataFinder 两大产品，并结合数据飞轮方法论，在数据资产层面大大降低了模型预处理的成本，在业务应用层面则为 Kimi 的精准投放、高效拉新保驾护航。

火山引擎数据飞轮是企业数智化升级的新范式，其强调以数据消费为核心驱动力，使企业数据流充分融入业务流，实现数据资产和业务应用的飞轮效应。

大模型的训练以海量数据为基础，其训练过程本身可视为一种大规模的数据消费。在多模态模型数据预处理过程中，非结构化数据量级庞大、数据种类及格式多样、数据处理过程复杂，对集群的计算调度、存储吞吐都提出了非常大的挑战。

火山引擎通过 E-MapReduce 产品及相关解决方案，将 Spark 与 Ray 计算框架统一调度，共享集群资源，大大提升了数据清洗的复杂度和效率，实现了对海量数据的快速和规模化的处理，集群成本降低 30%，并能应对突发任务需求，加速 Kimi 上线时间。

在业务层面，为了进一步推广 Kimi 应用，月之暗面需要在保障广告 ROI 健康水平的情况下快速拓展新客户，一方面促进 Kimi DAU 的快速攀升，同时兼顾新用户留存率，保障业务健康度。这一方面需要数据的支撑，同时也需要便捷高效的数据工具辅助业务决策。

结合火山引擎增长分析 DataFinder 的能力，月之暗面对产品用户路径优化进行了全链路优化，寻找转化卡点、流失高点，结合各节点数据快速发现问题、定位问题、解决问题，确保用户体验，提升整体留存。于此同时，借助 DataFinder 的广告投放渠道监测功能，月之暗面团队对广告投放效果进行了精准分析，进一步优化了推广素材和相关活动，确保拉新效率。