LLM 大模型学习必知必会系列 (六)：量化技术解析、QLoRA 技术、量化库介绍使用（AutoGPTQ、AutoAWQ）

汀丶人工智能

05-28

模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载