１9３　モーメンタム

鞍点に対処するため考えられた手法で、最適化の進行方向に学習を加速させることで、学習の停滞を防ぐもの。

モーメンタムは物理からの慣性の考えを利用したものです。現在の勾配に過去の勾配からの勢いを合わせたものを使ってパラメータのアップデートを行うので更新の方向が慣性のように継続する効果があります。