写点什么

Vision Transformers

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/fd/fd403dee9daaefbf9e100f583dba0c6f.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

为什么我们拥有庞大的语言模型,而 Vision Transformers 的规模却很小?

编者按:本文探讨了语言模型为何会比视觉模型的参数数量大得多的原因,并详细介绍了传统ViT训练方法在扩展时出现不稳定性的问题。

Vision Transformers_Vision Transformers技术文章_InfoQ写作社区