G検定模擬問題(3) 問43 解答

解答:

①Adam等最も適した学習率を調整する方法を適用する.

理由: Adamなどの最適化アルゴリズムは、勾配の大きさや学習率を調整することで効率的な学習を実現しますが、勾配消失問題そのものを根本的に解決する手法ではありません。勾配消失問題は、特に深いニューラルネットワークにおいて、誤差逆伝播の際に勾配が極端に小さくなり、学習が進まなくなる問題です。

その他の選択肢は、勾配消失問題を抑制するために有効な手法です:

  • 隠れ層の数を減らし、浅いネットワークにする:浅いネットワークでは勾配消失問題が起こりにくくなります。
  • 活性化関数をシグモイド関数からReLU関数に変更する:ReLU関数は勾配消失問題を軽減します。
  • ResNet等で利用されるスキップ結合を加える:スキップ結合は、勾配が消失せずに上層に伝わりやすくするため、勾配消失問題を軽減します。

問題