正しい選択肢は:
② 勾配爆発は,ネットワーク内の勾配が非常に大きくなることで重みの更新が不安定になり,学習が難しくなる問題である。
解説:
勾配爆発問題(Exploding Gradient Problem)は、ニューラルネットワークの学習時に勾配が非常に大きくなることで、 以下のような問題が生じる現象です:
・問題の原因:
・勾配が大きすぎる場合、重みの更新幅も過大になり、モデルが発散する可能性があります。
・特にリカレントニューラルネットワーク(RNN)のように時系列データを扱うモデルで顕著に発生します。
・影響:
・学習の不安定化。
・モデルが適切なパラメータに収束しない。
・対策:
1.勾配クリッピング: 勾配の絶対値が一定の閾値を超えないように制限する。
2.重みの初期化方法の工夫: XavierやHe初期化を用いる。
3.適切な学習率の設定: 学習率を小さく設定する。
他の選択肢の説明:
①重みの初期化を小さな値に設定することが最も有力な方法である
・初期化を小さくすることで勾配爆発を緩和することはありますが、万能な解決策ではありません。 勾配クリッピングなどの方法が効果的です。
③適切な活性化関数を選択することで、完全に防ぐことができる
・活性化関数は勾配消失問題には大きな影響を与えますが、勾配爆発問題を完全に防ぐことはできません。
④主に浅い(層が少ない)ネットワークで発生する問題である
・勾配爆発問題は、主に深いネットワークやRNNで発生します。浅いネットワークでは稀です。

