1. Q 函数的推导

• 问题：假设有一观测变量数据 Y，隐藏变量数据 Z，联合部分$P(Y,Z|\theta )$，条件分布$P(Z|Y,\theta )$，已知观测变量数据 Y，求参数$\theta$，使$P(Y|\theta )$取得最大值。（如果学过 HMM，这里的 Y 可以理解成观测序列 O；这里的 Z 可以理解成隐藏序列 I，$\theta$就是参数$\lambda$，问题描述就是 HMM 的学习问题）

• 面对一个含有隐变量的概率模型，目标是极大化观测数据（不完全数据：不含有隐变量的数据）Y 关于参数$\theta$的对数似然函数：$L(\theta )=log;P(Y|\theta )$。$P(Y|\theta )$就是关于 Y 的概率函数，因此对数极大似然函数就是$P(Y|\theta )$取对数。

• 完全数据的对数极大似然函数：$P(Y|\theta )=log;{\sum }_{Z}P(Y,Z|\theta )$：$P(Y,Z|\theta )$称作完全数据（函数隐变量数据）的概率函数，等号后面的式子称作完全数据的对数极大似然函数。

• 完全数据的对数极大似然函数进一步推导：$P(Y|\theta )=log;{\sum }_{Z}P(Y,Z|\theta )=log({\sum }_{Z}P(Y|Z,\theta )P(Z|\theta ))$
  

• 回顾梯度下降法，对$Y=X^2$，求 Y 最大值。某一时刻，如 t=1，我们知道 X 为 3，求使得 Y 最大的 X 取值 。对于时刻 t=1，我们对 X 求偏导为 2，然后可以得到下一时刻的 X 的取值：$X=3-2\alpha$，$\alpha$可以理解成步长，自定义的常量值。

• 对于含有隐变量的函数求最大值，思想参考梯度下降，对于时刻 t=0，我们能够得到参数$\theta$的一个初始值（准确地说，自定义一个$\theta$的一个初始值，回归和深度学习，权重 W 都是随机初始化，或按照某一分布初始化的）。对于 t=0 时刻，广泛地，对于 t=i 时刻，完全数据的对数极大似然函数记做$L({\theta }^{(i)})$，注意这里的${\theta }^{(i)}$是已知量，由 t-1 时刻推导过来的。t+1 时刻的对数极大似然函数记做$L(\theta )$，注意这里的$\theta$是未知量，是我们要求的参数。

• $L(\theta )-L({\theta }^{(i)})=log;{\sum }_{Z}P(Y|Z,\theta )P(Z|\theta )-log;P(Y|{\theta }^{(i)}))$
  

• 求 t+1 时刻的参数$\theta$，就是极大化上述 $L(\theta )-L({\theta }^{(i)})$
  

• jensen inequality(杰森不等式)：$log{\sum }_j{\lambda }_j{y}_j\ge {\sum }_j{\lambda }_{j}log;y_j;其中{\lambda }_j\ge 0,{\sum }_j{\lambda }_j=1$
  

• $L(\theta )-L({\theta }^{(i)})=log;{\sum }_{Z}P(Y,Z|\theta )P(Z|\theta )-log;P(Y|{\theta }^{(i)}))$应用杰森不等式，可得到如下推导过程：

令$B(\theta ,{\theta }^{(i)})=L({\theta }^{(i)})+{\sum }_{Z}P(Z|Y,{\theta }^{(i)})log;\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}$，故$L(\theta )\ge B(\theta ,{\theta }^{(i)})$。$B(\theta ,{\theta }^{(i)})$的表达式就有点像梯度下降法中，i+1 时刻的值等于 i 时刻的值+梯度。因此求解使$B(\theta ,{\theta }^{(i)})$最大的$\theta$，其实就是求 i+1 时刻的$\theta$值

• 任何可以使$B(\theta ,{\theta }^{(i)})$增大的$\theta$，也可以使$L(\theta )$增大，为了使$L(\theta )$尽可能大的增长，选择${\theta }^{(i+1)}$使得$B(\theta ,{\theta }^{(i)})$达到最大，即${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}B(\theta ,{\theta }^{(i)})$
  

• 现在求${\theta }^{(i+1)}$的表达式，${\theta }^{(i)}$是已知量，故可以省去与${\theta }^{(i)}$有关的常数量，故

从上式我们可以得到：

令$Q(\theta ,{\theta }^{(i)})={\sum }_{Z}P(Z|Y,{\theta }^{(i)})logP(Y,Z|\theta )$

最大化$B(\theta ,{\theta }^{(i)})$，等价于最大化$Q(\theta ,{\theta }^{(i)})$

• 总结：要想求$P(Y|\theta )$的最大值，可以根据迭代（梯度）的思想，递推的求 i+1 步的$\theta$值，也就是求$\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{(i)})$，当走到最后一步时，也就求出参数值了。

2. EM 算法的步骤

• 步骤 1：初始化参数值${\theta }^{(0)}$，但是需要注意 EM 算法对初值是敏感的

• 步骤 2：E 步：求$Q(\theta ,{\theta }^{(i)})$
  

• 步骤 3：M 步：求$Q(\theta ,{\theta }^{(i)})$的极大化，得到${\theta }^{(i+1)}$，完成一次迭代：${\theta }^{(i)}-->{\theta }^{(i+1)}$
  

• 步骤 4：循环步骤 1-3，直到达到终止条件：$||{\theta }^{i+1}-{\theta }^i||\le {ϵ}_1$ 或者$||Q({\theta }^{i+1,{\theta }^i})-Q({\theta }^i,{\theta }^i)||\le {ϵ}_2$。