一句话介绍：关于时序过程中含有不可观测的过程时，从观测结果反推模型参数的问题。

隐马尔可夫模型（hidden Markov model， HMM）

• 属于生成模型
• 描述由隐藏的马尔可夫链随机生成观测序列的过程

基本概念

隐马尔可夫模型两个过程：

• 由隐马尔可夫链随机生成不可观测的状态随机序列——状态序列
• 每个状态生成一个观测，形成观测的随机序列——观测序列

隐马尔可夫模型 $\lambda=(A,B,\pi)$ 的三要素：

• 初始状态概率向量 $\pi$
• 状态转移概率矩阵$A$
• 观测概率矩阵$B$

前两个决定状态序列

最后一个决定观测序列

两个基本假设：

• 【齐次马尔可夫性假设】隐马尔可夫链在任意时刻的状态，只与前一时刻状态有关，与其他时刻（包括当前时刻）均无关
• 【观测独立性假设】任意时刻的观测，只与当前时刻的状态有关，与其他均无关

三个基本问题：

• 概率计算问题：在给定模型下观测序列出现的概率
• 学习问题：已知观测序列，估计模型参数，使得观测序列概率最大（极大似然估计）
• 预测问题、解码问题：给定模型和观测序列，反求条件概率最大的状态序列

概率计算问题

目标：根据模型 $\lambda=(A,B,\pi)$ ，和观测序列 $O=(o_1,o_2,…,o_T)$ ，计算观测序列 $O$ 出现的概率 $P(O|\lambda)$。

直接计算法：按概率公式直接计算【概念可行，计算不可行——计算量太大】

• 前向概率：给定模型，到时刻 t 时，观测序列为某一特定序列，且 t 时刻状态为 i 的概率

• 后向概率：给定模型，在时刻 t 状态为 i 的条件下，从 t+1 到 T 的部分，观测序列为某一特定序列的概率

前向算法：（t+1）时刻的前向概率是可以从 t 时刻的前向概率根据递推公式得来的；这样每个时刻的计算利用了前一个时刻计算的N个结果，避免了重复计算。

后向算法：计算 t 时刻的后向概率，只需要考虑（t+1）时刻所有N个状态的转移概率，从而得到递推公式。

可以由这前向概率和后向概率，可以计算一些比较特殊的概率：

• 给定模型和观测，求时刻 t 处于 某个特定状态的概率
• 给定模型和观测，求时刻 t 处于 i 状态，t+1时刻处于 j 状态的概率
• 在观测下，某状态出现的期望值等

学习算法

根据训练数据对学习进行分类：

• 训练数据只包含观测序列和对应的状态序列——监督学习
• 训练数据只有观测序列——无监督学习

目标：学习隐马尔可夫模型 $\lambda=(A, B, \pi)$ 的参数

监督学习方法

利用极大似然估计法来估计隐马尔可夫模型的参数，具体方法：

1. 估计转移概率 $a_{ij}$ ：样本中 t 时刻为状态 i，t+1时刻为转移到状态 j 的频数为 $A_{ij}$，则 $\hat a_{ij}=\frac{A_{ij}}{\Sigma^N_{j=1}A_{ij}},i=1,2,…,N; j=1,2,…,N$
   很好理解，就是当前状态 i 已经固定了，但是下一个状态 j 不确定，那就把所有都遍历一下作为基数。
2. 估计观测概率 $b_j(k)$：样本中状态为 j 并观测为 k 的频数是 $B_{jk}$，则 $\hat b_{j}(k)=\frac{B_{j}(k)}{\Sigma^M_{k=1}B_{j}(k)}, j=1,2,…,N; k=1,2,…,M$
3. 估计初始状态概率$\pi_i$：就是S个样本中初始状态为$q_i$的频率

缺点：数据集需要标注

无监督学习方法 Baum-Welch算法（EM算法）

本方法是使用完全数据的对数似然函数，结合约束条件使用拉格朗日乘子法求出各项概率【结合第9章】

是EM算法在隐马尔可夫模型学习中的具体实现

预测算法

隐马尔可夫模型预测的两种算法：

• 近似算法：在每个时刻选择在该时刻最有可能出现的状态，从而得到一个状态序列，将它作为预测的结果；
  缺点是不能保证预测的状态序列整体式最有可能的状态序列
• 维特比算法（Viterbi algorithm）：用动态规划解隐马尔可夫模型预测问题，求概率最大路径；

动态规划原理：如果最优路径在时刻 t 通过节点 $i_t$，那么该节点之后的路径必须是从该节点到末节点的最优路径。

根据该原理，如果从终结点 开始逐步递推，就可以得到最大概率的路径。