正しい選択肢は:
④ カルバック・ライブラー情報量(KL)
解説:
カルバック・ライブラー情報量(KL情報量、Kullback-Leibler Divergence)とは:


式:

p(x):対象の分布(「真の分布」やデータ分布とされることが多い)。
q(x):近似分布またはモデル分布。
特徴:

他の選択肢の誤り:
① 相互情報量
・2つの確率変数間の相互依存性を測定する指標であり、分布間の差異を示すものではありません。
② 尖差エントロピー
・真の分布 p(x) と近似分布q(x) を用いて計算されますが、KL情報量とは異なります。
③ 結合エントロピー
・つの確率変数の結合分布に基づくエントロピーの概念であり、分布間の差異とは無関係です。
出題の式は一般的なKL情報量の式の分母と分子が入れ替わっていますが、値としては負符号が付く形になります。 つまり、以下の関係が成り立ちます:


