Batch Gradient Descent

定义 Definition

批量梯度下降：一种优化算法。每次参数更新时，使用整个训练集（全量数据）计算损失函数对参数的梯度，然后沿着使损失下降的方向更新参数。常用于机器学习/深度学习中的模型训练。也常与 SGD（随机梯度下降）、mini-batch（小批量）梯度下降对比。

发音 Pronunciation

/ bætʃ ˈɡreɪdiənt dɪˈsent /

例句 Examples

The model was trained using batch gradient descent.
该模型使用批量梯度下降进行训练。

Because batch gradient descent computes gradients over the entire dataset, it can be stable but slow on very large datasets.
由于批量梯度下降在整个数据集上计算梯度，它往往更稳定，但在超大数据集上可能很慢。

词源 Etymology

batch 原意是“一批、一组”，来自中古英语 bacche（与“成批、成组”相关的用法发展而来）；在计算与数据处理中引申为“批处理/一批数据”。
gradient 在数学中指“梯度”（函数变化最快的方向与变化率），源自拉丁语 gradiens（“行走、步进”之意的词根演变）。
descent 意为“下降”，源自拉丁语 descendere（de- “向下” + scandere “攀爬”），在优化里比喻“沿着下降方向走到更低的损失”。合起来就是“用一整批数据的梯度来做下降更新”。

相关词 Related Words

• Gradient Descent
• Stochastic Gradient Descent
• Mini-Batch Gradient Descent
• Backpropagation
• Learning Rate
• Convex Optimization
• Loss Function
• Momentum

文学与经典作品 Literary Works

• Pattern Recognition and Machine Learning（Christopher M. Bishop）——在优化与学习算法章节讨论梯度下降及其变体。
• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）——讲述批量/随机/小批量梯度下降在神经网络训练中的应用。
• Convex Optimization（Stephen Boyd, Lieven Vandenberghe）——在凸优化框架下介绍基于梯度的方法（含全量梯度的思路）。
• “Efficient BackProp”（Yann LeCun 等）——经典论文/章节中涉及梯度方法与训练实践（常与批量和小批量更新对比）。