写点什么

模型压缩

0 人感兴趣 · 4 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/ef/ef22d6fa64cd85f515d3620961ba0c34.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深度学习实践篇 [17]:模型压缩技术、模型蒸馏算法:Patient-KD、DistilBERT、DynaBERT、TinyBERT

理论上来说,深度神经网络模型越深,非线性程度也就越大,相应的对现实问题的表达能力越强,但相应的代价是,训练成本和模型大小的增加。同时,在部署时,大模型预测速度较低且需要更好的硬件支持。但随着深度学习越来越多的参与到产业中,很多情况下,需要将

https://static001.geekbang.org/infoq/fd/fd3ad8f364ae44077018262d39b5f1f0.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

卷积神经网络的压缩方法总结

我们知道,在一定程度上,网络越深,参数越多,模型越复杂,其最终效果越好。神经网络的压缩算法是,旨在将一个庞大而复杂的预训练模型(pre-trained model)转化为一个精简的小模型。我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。

CANN5.0 黑科技解密 | 别眨眼!缩小隧道,让你的 AI 模型“身轻如燕”!

​​摘要:CANN作为释放昇腾硬件算力的关键平台,通过深耕先进的模型压缩技术,聚力打造AMCT模型压缩工具,在保证模型精度前提下,不遗余力地降低模型的存储空间和计算量。

模型压缩_模型压缩技术文章_InfoQ写作社区