TinyBert_TinyBert技术文章_InfoQ写作社区

全部标签 



写点什么

登录注册

TinyBert

0 人感兴趣 · 1 次引用

关注

最新
推荐

解读知识蒸馏模型 TinyBert

华为云开发者社区

2021 年 9 月 2 日

摘要：本篇文章的重点在于改进信息瓶颈的优化机制，并且围绕着高纬空间中互信息难以估计，以及信息瓶颈优化机制中的权衡难题这两个点进行讲解。

mindspore 知识蒸馏 TinyBert 信息瓶颈蒸馏