序列最小优化 (SMO)

序列最小优化（Sequential Minimal Optimization, SMO）是李航等学者提出的一种用于求解支持向量机（SVM）训练问题的专用算法。与传统通用的二次规划求解器（如 Interior Point Method）不同，SMO 不依赖迭代逼近，而是将复杂的约束优化问题分解为一系列仅需更新两个拉格朗日乘子的小规模子问题。每个子问题均可通过解析法直接求解，无需复杂的数值优化过程。该算法特别适用于处理大规模数据集，能够在保证模型泛化能力的同时，将训练时间从传统的 O(n^3) 或 O(n^4) 级别降低至接近 O(n^2)，成为 SVM 实现中的标准组件。

在现代计算架构与机器学习生态中，SMO 扮演着连接理论模型与工程落地的关键桥梁角色。它解决了早期 SVM 实现中因计算复杂度过高而无法处理大规模数据的瓶颈问题。SMO 的引入使得 SVM 能够被广泛应用于文本分类、图像识别、生物信息学序列分析等海量数据场景。其核心价值在于将复杂的凸优化问题“化繁为简”，通过巧妙的数学变换，使得原本需要昂贵迭代求解的问题变得可并行化、可加速。尽管随着线性核 SVM 的普及，SMO 在非线性核场景下的绝对速度优势有所减弱，但它依然是理解 SVM 训练机制、调试超参数以及构建高性能分类器的基石，其思想也深刻影响了后续许多基于分解的优化算法的设计。