写点什么

AI 模型编译器

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐

MegEngine 使用小技巧:如何使用 MegCC 进行模型编译

MegEngine 作为一个训推一体的 AI 框架,为用户提供了模型训练以及部署的能力。但是在部署模型时,由于会存在对于部署的模型计算来说不必要的代码,导致 SDK 体积比较大。为了解决上述问题,我们提供了新的工具:AI 编译器 MegCC。

AI 模型编译器 MegCC 开源,解决推理引擎体积问题

用户头像
MegEngineBot
2022-11-07

为了解决这个问题,由 MegEngine 团队开源的 MegCC 创新使用模型预编译的方案,生成模型推理必要的代码,去除掉了和模型推理无关的代码,因此极大程度上减少了推理引擎的体积。

AI 模型编译器_AI 模型编译器技术文章_InfoQ写作社区