１９８　AdaBound

モーメンタムと類似したアルゴリズム。

AdaBoundはAdaGrad、RMSprop、ADAMなどに共通する問題点を解決するために提案されました。その問題は学習率が不安定になりがちで上手く収束しないことです。学習初期ではADAMは学習が速いので、学習後半からはSGDに収束していく仕組みとして、学習率の上限と下限を動的に加えることになりました。2019年に発表されています。