核心思想和原理

概率图模型的主要步骤

• 表示 Representation

• 推断 inference

• 学习 Learning

表示

• 节点对应连续或离散变量

• 有向边连接父子节点

• 有向边表示条件概率分布

• 不存在回路，又称有向无环图模型，Directed Acyclic Graph，DAG

 

• 节点对应连续或离散随机变量

• 边表示依赖关系

• 任意两点间有边连接，则该节点子集为团clique

• 联合概率分布能基于团分解

• 当知道 B 的存在时，则A，C独立

• 箭头取消

• 要连接两个成团

• 加弦

• 加箭头

推断 Inference

• 求条件概率

• 求边缘分布

概率图模型家族

隐马尔可夫模型（Hidden Markov Model）

• 状态

• 观测

• 马尔可夫链

期望最大值算法（Expedition-Maximization）

算法思想

• 红线去逼近

• 横坐标为

 

• 数学描述

• E步骤，上下移动红线， 分布不变，最大化

• M步骤，横向移动红线，固定 不变， 最大化寻优

• 重复上述步骤

• 可能陷入局部最优

• 受初始值影响

隐马尔可夫模型

基本假设

• 观测独立性假设——每一个 只和对应的 有关系

• 齐次马尔可夫假设——只与前一状态有关

三要素

• 状态初始概率

• 状态转移矩阵

• 发射概率矩阵

代码实现

• 数据集

• HMM

优缺点和适用条件

• 一阶马尔可夫假设和观测独立假设

• 多场景大大简化条件计算

• 应用范围较窄，主要用于时序数据建模

• 思路清晰：建模表示 + 推断学习

• 可解释性强，白盒子模型

• 推断和学习复杂，高维数据处理困难

• 动态化结构学习是概率图模型发展的一个方向

• 非参数化建模是概率图模型另一可能的重要方向

• 深度学习（擅长感知） + 概率图（擅长推理）