最も適切な選択肢は:
④ (A) 勾配爆発 (B) 勾配クリッピング
解説:
(A) 勾配爆発(Gradient Explosion)とは:
・リカレントニューラルネットワーク(RNN) などの深層学習モデルにおいて、誤差逆伝播法(Backpropagation Through Time, BPTT) を適用すると、勾配が繰り返し計算されることで、指数関数的に大きな値になり、重み更新が異常に大きくなる現象を指します。
・勾配が大きくなりすぎると、学習が不安定になり、モデルの収束が困難になります。
(B) 勾配クリッピング(Gradient Clipping)とは:
・勾配爆発を防ぐ手法の1つとして「勾配クリッピング」があります。
・具体的には、勾配の大きさ(ノルム)がある閾値(例:最大値)を超えた場合、勾配を一定値に制限することで、極端な重み更新を防ぎます。
・よく使われる方法:
・クリップ・ノルム方式(Clip by Norm): 勾配のL2ノルムが一定値を超えた場合、スケーリングする。
・クリップ・バリュー方式(Clip by Value): 勾配の最大・最小値を制限する。
各選択肢の評価:
① (A) 勾配消失 (B) 勾配ブースティング
・誤り:
・勾配消失は勾配が極端に小さくなる現象であり、爆発とは異なる。
・勾配ブースティングは誤り(適切な用語ではない)。
② (A) 勾配消失 (B) 勾配クリッピング
・誤り:
・勾配クリッピングは、勾配爆発に対する対策であり、勾配消失には通常使用しません。
③ (A) 勾配爆発 (B) 勾配ブースティング
・誤り:
・勾配ブースティングという手法は存在しない。
④ (A) 勾配爆発 (B) 勾配クリッピング
・正しい:
・勾配爆発に対する適切な対策として、勾配クリッピングが最も一般的に使用されます。

