CBOW & SkipGram 区别

在句子“今天想吃牛肉丸粿条”当中，如果句子变成了“今天____吃牛肉丸粿条”，那么根据"____"前后来猜其意思的话，就是 CBOW 的原理，该词也称之为中心词。

而在 SkipGram 中，是通过中心词“牛肉丸”来猜前后词汇“吃”和“粿条”的。

粗暴地理解，CBOW 是通过句子来预测单词，SkipGram 是通过单词来预测句子。

如果用图来表示的话，如下：

SkipGram 特点

• 通过中心词来预测周围的单词

• SkipGram 与 CBOW 无可比性，应根据场景使用

• SkipGram 可以通过负采样 Negative sampling 的方法来训练模型

负采样

用语料库来举例，在 S 语料库中，假设只有 4 个词，W1, W2, W3, W4。相邻的词相似度更高，不相邻的词相似度低。例如，W1 和 W2 之间相似度高，W1 和 W3 之间相似度低，相似度高的标记为正，相似度低的标记为负，因此，在语料库当中，负样本往往是要比正样本数量多的。而在在 W1 的右侧，只能存在一个词，因此 W1 与 W2 相邻的概率 P，W1 与 W3 相邻的概率为（1-P），也就是说，两种概率相加一定是等于 1。那么，在计算的过程中，其实计算的时间往往是耗在负样本当中，因此，可以通过负采样的方法，也就是选取一部分来降低模型复杂度的方法来进行训练模型。

在我们的生活中，要处理的复杂问题很多时候并不是 CBOW 那样的挖空问题，而是像 SkipGram 所处理的问题。