脊回归

脊回归，亦称岭回归或Tikhonov正则化，由Andrey Tikhonov提出，是普通最小二乘法（OLS）的改进版本。其核心机制是在最小化残差平方和的基础上，额外增加一个与回归系数模长平方成正比的惩罚项（L2范数），从而将原本可能不适定的病态矩阵问题转化为适定问题。该方法通过调整正则化参数λ（lambda）来控制回归系数的收缩程度，有效抑制了因特征高度相关导致的系数剧烈波动，显著提升了模型在噪声数据下的数值稳定性与计算精度，尽管这会导致回归系数产生有偏估计且R平方值可能略有下降。

在现代计算架构与机器学习生态中，脊回归扮演着处理高维、稀疏及共线性数据的基石角色。它不仅是统计学中解决病态矩阵问题的经典方案，更是正则化思想在监督学习中的首次成功实践，直接启发了Lasso（L1正则化）等后续算法。脊回归广泛应用于金融风控、生物信息学、工业传感器数据清洗及推荐系统特征工程等领域，特别是在特征数量接近或超过样本量（p>=n）的高维场景下，其通过平滑系数分布的特性，能有效防止过拟合，提升模型的鲁棒性。尽管其计算复杂度略高于普通线性回归，但在工程落地中，其稳定性带来的收益远超微小的计算开销。