写点什么

大模型量化技术

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐

LLM 大模型学习必知必会系列 (六):量化技术解析、QLoRA 技术、量化库介绍使用(AutoGPTQ、AutoAWQ)

模型的推理过程是一个复杂函数的计算过程,这个计算一般以矩阵乘法为主,也就是涉及到了并行计算。一般来说,单核CPU可以进行的计算种类更多,速度更快,但一般都是单条计算;而显卡能进行的都是基础的并行计算,做矩阵乘法再好不过。如果把所有的矩阵都加载

大模型量化技术_大模型量化技术技术文章_InfoQ写作社区