深度神经网络之梯度参数调优

1. 动量梯度下降
2. RMSProp
3. Adam

• 动量梯度下降： 提出了参考历史梯度来平滑梯度震荡
• RMSProp: 提粗了通过历史梯度的倒数控制学习率控制震荡
• Adam: 动量梯度下降 + RMSProp 的结合