随机梯度下降是一种迭代方法，用于优化具有适当平滑特性（例如可微分或次可微分）的目标函数。它可以被视为梯度下降优化的随机近似，因为它用实际梯度（从整个数据集计算）的估计值（从随机选择的数据子集计算）代替实际梯度。特别是在高维优化问题中，这减少了非常高的计算负担，实现了更快的迭代，但收敛速度较低。

✍️提及

⛓️关联