写点什么

CUDA int4

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐

提速还能不掉点!深度解析 MegEngine 4 bits 量化开源实现

MegEngine 开源了 4 bits 的量化的相关内容,通过 MegEngine 4 bits 量化实现的 ResNet-50 模型在 ImageNet 数据集上的精度表现与 8 bits 量化模型相差无几,并且速度是 TensorRT-v7 8 bits ResNet-50 模型的推理速度的 1.3 倍。

CUDA int4_CUDA int4技术文章_InfoQ写作社区