随机梯度下降
随机梯度下降用于计算梯度并仅使用单个训练示例更新参数。
批量梯度下降
批量梯度下降用于计算整个数据集的梯度，并在每次迭代中只执行一次更新。
小批量梯度下降
小批量梯度下降是随机梯度下降的一种变体。使用小批量样本代替单个训练示例。小批量梯度下降是最流行的优化算法之一。