モーメンタムと類似したアルゴリズム。
RMSprop（Root Mean Square Propagation）はジェフリー・ヒントンによって2012年に行われたCourseraのオンラインコースの中で提案されたもので正式に論文が発表されたわけではありません。しかし、よく使われるようになりPyTorchやTensorFlowなど多くのライブラリでサポートされています。
RMSpropはAdaDeltaと同じ頃に独立に発案されました。目的はAdaGradの学習率が消失していく問題を解決することで、AdaDeltaの最初の変更点と同様の変更をAdaGradに加えたものです。
