検定模擬問題(3) 問138 解答

解答:

② 蒸留

理由: 蒸留(Distillation)は、モデル圧縮の手法の一つで、教師モデル(通常は大きなモデル)の出力(ソフトマックス層の出力など)を学生モデル(通常は小さなモデル)に模倣させることで、小さなモデルを学習させる方法です。この手法により、必要な計算リソースがより少ないニューラルネットワークを、分類精度の低下を抑えつつ得ることができます。

その他の選択肢について:

  • ① アンサンブル学習:複数のモデルを組み合わせて予測を行う手法です。個々のモデルの出力を統合することで、全体の性能を向上させることを目的としています。
  • ③ プルーニング:ニューラルネットワークの不要な重みやノードを削除して、モデルのサイズと計算量を削減する手法です。
  • ④ 量子化:ニューラルネットワークの重みやアクティベーションをより低い精度の数値表現に変換して、計算効率を高める手法です。

問題