岭回归

岭回归（Ridge Regression），又称吉洪诺夫正则化（Tikhonov Regularization），是由苏联数学家安德烈·吉洪诺夫提出的一种统计学习技术。其核心思想是在普通最小二乘法（OLS）的损失函数基础上，额外添加一个与回归系数模长平方成正比的L2惩罚项。这种方法将原本可能不适定的病态矩阵问题转化为适定问题，通过调节正则化参数λ来控制回归系数的收缩程度。虽然该方法引入了偏差，但显著降低了方差，从而在偏差 - 方差权衡中实现了更优的预测性能，特别适用于处理高维数据或特征间存在强相关性的场景。

在现代计算架构与机器学习生态中，岭回归扮演着处理高维稀疏数据与缓解特征共线性的关键角色。它不仅是传统计量经济学中解决多重共线性问题的标准工具，更是现代正则化机器学习（Regularized Machine Learning）的基石之一。与Lasso回归不同，岭回归倾向于将所有相关系数压缩至零附近而非严格归零，这使得它在特征选择上更为保守，但在保持特征间线性关系的同时，极大地提升了模型在噪声数据下的鲁棒性。其广泛应用涵盖了金融风控、生物信息学、信号处理及工业预测分析等领域，是构建稳健回归模型的首选策略之一。