1. 简述

隐马尔可夫的学习问题，根据训练数据只有观测序列还是包含观测序列和状态序列，可以分别非监督学习与监督学习。

2. 监督学习方法

  假设已知训练数据包含 S 个长度相同的观测序列和对应的状态序列$(O_1,I_1),...,(O_s,I_s)$，那么可以利用极大似然估计来估计隐马尔可夫的模型参数

• 转移概率$a_{ij}$的估计：设样本时刻 t 处于状态 i 时刻 t+1 处于状态 j 的频数为$A_{ij}$，那么状态转移概率$a_{ij}$的估计是：${\hat{a}}_{ij}=\frac{A_{ij}}{\sum _{j=1}^N{A}_{ij}}$
  

• 观测概率$b_j(k)$的估计：设样本中状态为 j 并观测为 k 的频数为$B_{jk}$，那么状态为 j 观测为 k 的概率$b_j(k)$的估计是${\hat{b}}_j(k)=\frac{B_{jk}}{\sum _{k=1}^M{B}_{jk}}$
  

• 初始状态概率$\pi$的估计：$\hat{\pi }$为 S 个样本中初始状态为$q_i$的频率。

  由于监督学习需要使用训练数据，而人工标注训练数据的代价很高，因此经常会适用非监督学习的方法

3. 非监督学习：Baum-Welch 算法

  Baum-Welch 算法简称 BW 算法，其核心是 EM 算法，因此本章需要具有 EM 知识。不过现在还不用掌握 EM，讲述过程中会说明何时去学 EM。

  假设给定训练数据只包含 S 个长度为 T 的观测序列$O_1,O_2,...O_s$，而没有对应的状态序列，目标是学习隐马尔可夫模型的$\lambda =(A,B,\pi )$。用 O 表示观测序列，用 I 表示状态序列。隐马尔可夫模型事实上是一个含有隐变量的概率模型：

• 使用 EM 算法解决上述问题的步骤如下（暂时可先不掌握 EM）：

• 第一步：确定完全数据的对数似然函数

• 观测数据$O=(o_1,o_2,...,o_T)$，隐藏数据$i_1,i_2,...,i_T$，完全数据$(o_1,o_2,...,o_T,i_1,i_2,...,i_T)$。完全数据的对数似然函数是$logP(O,I|\lambda )$。如何理解对数似然函数的由来：

• 变量$o_1,o_2,...,o_T,i_1,i_2,...,i_T$的联合概率函数为$p(o_1,o_2,...,o_T,i_1,i_2,...,i_T)$
  

• 极大似然函数说白了就是联合概率函数，只是我们在计算参数时，会把样本变量带进去。现在$o_1,o_2,...,o_T,i_1,i_2,...,i_T$的联合概率函数为$p(o_1,o_2,...,o_T,i_1,i_2,...,i_T)=P(O,I|\lambda )$，因此完全数据的极大似然函数为$P(O,I|\lambda )$
  

• 第二步：EM 算法的 E 步：求 Q 函数$Q(\lambda ,\overline{\lambda })$
  

• 到此也可以先不用管什么是 EM，先按照我们的流程走下去，至于什么是 Q 函数，怎么得来的，后面讲 EM 会详细说明。这里就先记住有 Q 函数及其公式表达。

• Q 函数中的$\lambda$就是我们要求的参数$\lambda$，Q 函数中的$\overline{\lambda }$是利用了迭代的思想。就像梯度下降一样，在第 i 步的时候，我们可以得到参数的一个估计值，然后求导，更新 i+1 步的参数值。这里的$\overline{\lambda }$就是第 i 步（或者说当前步骤）参数$\lambda$的估计值，因此$\overline{\lambda }$是已知量。

• $Q=(\lambda ,\overline{\lambda })=\sum _{I}logP(O,I|\lambda )P(O,I|\overline{\lambda })$。Q 函数定义如此，至于为什么这么定义，后续可在 EM 讲解时了解。

• $P(O,I|\lambda )={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)...a_{i_{T-1}{i}_T}$①，推导见下：

• 于是

• 第三步：EM 算法的 M 步：极大化 Q 函数求模型参数$\lambda =(A,B,\pi )$，在已知某一步，如第 t 步$\overline{\lambda }$值的情况下，最大化包含$\lambda$的 Q 函数，得到$\lambda$的估计值，相当于得到 t+1 的$\overline{\lambda }$取值。由于要极大化的参数$(A,B,\pi )$在式 ①中单独地出现在 3 个项中，所以只需要对各项分别最大化。

• 式 ①的第一项（含有$\pi$）可以写成：

注意到${\pi }_i$满足约束条件$\sum _{i=1}^T=1$，利用拉格朗日乘子法，写出拉格朗日函数：

对其求偏导，并令结果为 0：

得到：

对 i 求和得到 gamma：

带入公式，得到：

至于$P(O,i-1=i|\lambda )$是什么，本章最后的小结进行说明，下述求 A、B 的亦同。

式①的第二项，仅含有 A，与求 $\pi$的方法类似：

• 第四步：上述过程求得了第 t+1 步$\overline{\lambda }$的取值，因此可以根据前述方法继续求得第 t+2 步的$\overline{\lambda }$
  

• 第五步：终止条件：

- 方式 1：指定一共要递推多少步，如 n+1 步，因此在 n+1 步确定模型参数${\lambda }^{n+1}=({\pi }^{n+1},A^{n+1},B^{n+1})$

- 对较小的正数${ϵ}_1,{ϵ}_2$，若满足$||{\lambda }^{t+1}-{\lambda }^t||\le {ϵ}_1$ 的含义在 EM 算法中有详细讲述，到此时，我们可以回过头看 EM 算法了，看看为什么该问题能转化成 Q 函数，Q 函数如何得到等。详见后续的 EM 算法详解。不过还是建议大家看完最后的总结。

4. 总结

- 上述其实还遗留了一个问题，即 t+1 步，得到的$\lambda$估计值仍然带有概率的形式，这里我们定义：

- ${\pi }_i=\frac{P(O,i_1=i|\overline{\lambda })}{P(O|\overline{\lambda })}={\gamma }_1(i)$，详见后续的前后向算法。

- $a_{ij}=\frac{\sum _{t=1}^{T-1}P(O,i_t=i,i_{t+1}=j|\overline{\lambda })}{\sum _{t=1}^{T-1}P(O,i_t=i|\overline{\lambda })}=\frac{\sum _{t=1}^{T-1}{\xi }_t(i,j)}{\sum _{t=1}^{T-1}{\gamma }_t(i)}$，${\xi }_t(i,j)$和${\gamma }_t(i)$详见前后向算法中的概率与期望值部分

- $b_j(k)=\frac{\sum _{t=1}^{T}P(O,i_t=j|\overline{\lambda })I(o_t=v_k)}{\sum _{t=1}^{T}P(O,i_t=j|\overline{\lambda })}=\frac{\sum _{t=1,o_t=v_k}^T{\gamma }_t(j)}{\sum _{t=1}^T{\gamma }_t(j)}$，${\gamma }_t(j)$详见前后向算法中的概率与期望值部分。