基于指数加权移动平均的思想，提出了动量法予以解决上述问题。设时间步 t t t的自变量为 x t boldsymbol{x}_t xt​，学习率为 η t eta_t ηt​。
在时间步 0 0 0，动量法创建速度变量 v 0 boldsymbol{v}_0 v0​，并将其元素初始化成0。在时间步 t > 0 t>0 t>0，动量法对每次迭代的步骤做如下修改：

v t ← γ v t − 1 + η t g t , x t ← x t − 1 − v t , begin{aligned} boldsymbol{v}_t &leftarrow gamma boldsymbol{v}_{t-1} + eta_t boldsymbol{g}_t, \ boldsymbol{x}_t &leftarrow boldsymbol{x}_{t-1} - boldsymbol{v}_t, end{aligned} vt​xt​​←γvt−1​+ηt​gt​,←xt−1​−vt​,​

其中，动量超参数 γ gamma γ满足 0 ≤ γ < 1 0 leq gamma < 1 0≤γ<1。当 γ = 0 gamma=0 γ=0时，动量法等价于小批量随机梯度下降。
其效果如下：

可以观察出动量法使得相邻时间步的自变量更新在方向上更加一致。

当学习率较大时，其仍然收敛的较好且不发散。
我们先将动量超参数momentum设0.5，这时可以看成是特殊的小批量随机梯度下降：其小批量随机梯度为最近2个时间步的2倍小批量梯度的加权平均。

将动量超参数momentum增大到0.9，这时依然可以看成是特殊的小批量随机梯度下降：其小批量随机梯度为最近10个时间步的10倍小批量梯度的加权平均。我们先保持学习率0.02不变。

总结：
动量法使用了指数加权移动平均的思想。它将过去时间步的梯度做了加权平均，且权重按时间步指数衰减。
动量法使得相邻时间步的自变量更新在方向上更加一致。