期望最大化 (EM)

期望最大化（Expectation-Maximization, EM）算法是解决包含隐变量或缺失数据概率模型参数估计问题的核心算法框架。其本质是将难以直接优化的似然函数问题，转化为在固定隐变量分布下计算期望，再基于该期望更新参数以最大化似然值的迭代过程。作为牛顿迭代法的稳健替代方案，EM算法通过构造辅助函数（Minorizing Function）保证每次迭代单调递增，从而确保收敛至局部极大值，广泛应用于高斯混合模型、隐马尔可夫模型及缺失数据推断等场景。

在现代计算架构与机器学习生态中，EM算法扮演着连接概率统计理论与复杂模型训练的关键角色。它不仅是处理缺失数据（Missing Data）和隐变量（Latent Variables）问题的标准范式，也是构建无监督学习模型（如聚类、主题建模）的基石。尽管其收敛速度在平坦区域较慢，但其数学性质保证了全局单调性，使其成为可解释性强、实现相对简单的首选算法。在深度学习的兴起背景下，EM算法常作为预训练阶段或特定组件（如变分自编码器中的隐变量推断）的优化器，其生态地位已从单纯的统计工具演变为构建复杂概率图模型（PGM）不可或缺的核心组件。