批量梯度算法 (BGD)

批量梯度算法（Batch Gradient Descent, BGD）是梯度下降法在机器学习中的基础实现形式。与随机梯度下降（SGD）或小批量梯度下降（Mini-batch GD）不同，BGD 在每一次参数更新前，都会遍历整个训练数据集，计算所有样本的误差总和对应的梯度，并据此调整模型权重。这种方法最早可追溯至线性回归的解析解推导，在神经网络兴起初期被广泛使用。尽管其计算复杂度随数据量线性增长，但在数据规模较小或需要极高精度收敛的场景下，BGD 凭借其梯度的无偏性和稳定性，依然是理论分析和小规模实验的首选优化策略。

在现代计算架构与人工智能生态中，批量梯度算法扮演着“基准线”与“教学模型”的双重角色。虽然随着大数据时代的到来，其直接应用于大规模训练已显滞后，但它所蕴含的“全局视角”优化思想深刻影响了后续小批量梯度下降及自适应优化算法（如 Adam）的设计。在工程实践中，BGD 常用于模型验证阶段、超参数敏感性分析以及小规模数据集的精细调优。其核心价值在于提供了一个可解释性强、收敛路径平滑的优化范式，帮助架构师理解梯度方向与学习率对模型收敛速度的决定性影响，是构建复杂分布式训练系统的理论起点。