经奇异值分解 (SVD)

经奇异值分解（Singular Value Decomposition, SVD）是一种将任意实数或复数矩阵分解为三个特定矩阵乘积的线性代数方法。其数学形式为 A = UΣV^T，其中 U 和 V 是正交矩阵，Σ 是对角矩阵包含奇异值。该算法不依赖矩阵是否可逆，能处理奇异矩阵，通过截断奇异值序列可实现对高维数据的降维与压缩。在大模型生态中，SVD 不仅是数据预处理的关键步骤，也是理解模型潜在语义空间、进行知识蒸馏与模型压缩的理论基石。

在现代计算架构与人工智能领域，SVD 扮演着连接原始数据与低维语义空间的桥梁角色。它超越了传统的特征选择（Feature Selection），转向特征提取（Feature Extraction），能够捕捉数据中隐含的线性结构。在大模型应用中，SVD 被广泛用于词嵌入（Word Embedding）的优化、推荐系统的协同过滤、以及大模型的量化与剪枝。其核心价值在于将高维稀疏数据转化为紧凑的低维稠密表示，显著降低计算复杂度并提升模型泛化能力，是构建高效、鲁棒 AI 系统的底层引擎之一。