贝叶斯信息准则 (BIC)

贝叶斯信息准则（Bayesian Information Criterion, BIC）是统计模式识别与机器学习领域用于模型选择的核心判据。它源于贝叶斯决策理论，旨在解决在数据不完全或存在噪声时，如何平衡模型拟合优度与模型复杂度这一经典难题。与仅关注拟合误差的指标不同，BIC 将模型复杂度作为正则化项引入，其数学本质是在假设模型为高斯分布的前提下，对后验概率的对数进行近似计算。该准则不仅考虑了各类参考总体出现的概率大小（即数据对模型的拟合程度），还显式地惩罚了参数数量过多的复杂模型，从而有效防止过拟合，是统计推断中从极大似然估计向贝叶斯推断过渡的关键桥梁。

在现代计算架构与机器学习生态中，BIC 扮演着模型选择与正则化的重要角色。它广泛应用于统计学、生物信息学、信号处理及结构化数据建模等领域，特别是在需要理论严谨性且数据量相对有限（小样本）的场景下表现卓越。相较于 AIC（赤池信息准则），BIC 在大样本渐近性质下具有更强的模型一致性，即当样本量趋于无穷时，BIC 几乎必然选择真实模型。然而，在深度学习等超大规模参数模型中，由于其对复杂度的惩罚力度随样本量线性增长，BIC 往往过于保守，导致难以收敛到最优结构，因此更多作为理论基准或特定结构化模型（如隐马尔可夫模型、线性回归）的优选工具，而非通用深度网络的直接替代方案。