深度学习进阶篇 - 预训练模型 [1]：预训练分词 Subword、ELMo、Transformer 模型原理 ; 结构 ; 技巧以及应用详解

汀丶人工智能

05-24

从字面上看，预训练模型（pre-training model）是先通过一批语料进行训练模型，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：预训练阶段（pre-training）和 微调（fune-tun