写点什么

Kwaipilot

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/a1/a1ca96230575691c14483319bd1d37f6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

KwaiCoder-23BA4-v1:以 1/30 的成本训练全尺寸 SOTA 代码续写大模型

KwaiCoder-23BA4-v1 是快手Kwaipilot 团队最新开源的自研代码续写大模型,模型的训练依托于 Kwaipilot 团队提出的一种高效的模型训练方案。通过结合模型剪枝、知识蒸馏、细粒度合并等技术,相比传统方法以1/30的成本完成了23B 宽MoE架构代码续写模型的训练,

Kwaipilot_Kwaipilot技术文章_InfoQ写作社区