170 勾配消失問題 2021.10.112025.03.06 隠れ層を遡るごとに、(活性化関数の微分が掛け合わさって)伝播してゆく誤差はどんどん小さくなって行く。多くの隠れ層があると、入力層付近の隠れ層に到達するまでにフィードバックすべき誤差がほとんど0になってしまう問題。ディープラーニングで発生する問題。誤差逆伝播法で誤差の勾配が入力層に伝播する過程で0に近づいてしまい学習が進まなくなってしまう。ReLU等の活性化関数を用いて解消する。