「勾配に沿って降りて行くことで解を探索する」手法。勾配とは微分値のことであり、「接線の傾き」を表す。
ニューラルネットワークにおいて正解を求める手法。予測値と答えの差(誤差)を微分した勾配が０に近づくように少しずつ重みを更新する。
勾配降下法は、パラメータ(重みとバイアス)を少しずつ更新して勾配(傾き)が最小になるパラメータを探索する手法です。機械学習では、モデルが上手く学習しているかを計る手法の一つに、損失関数(予測した値と実際の値の差の関数)がありました。損失が少ないほど予測した値と実際の値の差は小さく、良いモデルだと言えます。ニューラルネットワーク等において、この損失関数に勾配降下法を適用することで、損失を最小化するようなパラメータを探し出すことができます。
例えば、以下の関数yを損失関数、xをパラメータとみなし、最初にランダムな点x = 3を選んだとしましょう。x = 3における勾配は4となります。このxをx = 2.5、x = 2、x = 1.5のように勾配が小さくなる方向へ進めると、やがてyが最小となるx = 1にたどり着きます。yが損失関数であることを思い出すと、損失が最小となるパラメータを探し当てたことになります。
