解答:
② 蒸留
理由: 蒸留(Distillation)は、モデル圧縮の手法の一つで、教師モデル(通常は大きなモデル)の出力(ソフトマックス層の出力など)を学生モデル(通常は小さなモデル)に模倣させることで、小さなモデルを学習させる方法です。この手法により、必要な計算リソースがより少ないニューラルネットワークを、分類精度の低下を抑えつつ得ることができます。
その他の選択肢について:
- ① アンサンブル学習:複数のモデルを組み合わせて予測を行う手法です。個々のモデルの出力を統合することで、全体の性能を向上させることを目的としています。
- ③ プルーニング:ニューラルネットワークの不要な重みやノードを削除して、モデルのサイズと計算量を削減する手法です。
- ④ 量子化:ニューラルネットワークの重みやアクティベーションをより低い精度の数値表現に変換して、計算効率を高める手法です。

