検定模擬問題(3) 問127 解答

解答:

③ Self-Attention

理由: Transformerモデルでは、Self-Attention(自己注意機構)が入力の計算に広く利用されています。Self-Attentionは、入力シーケンス内の各位置の要素が、他の全ての位置の要素に対して注意を払う仕組みです。これにより、各単語のコンテキストを考慮しながら、その単語の表現を更新することができます。

その他の選択肢について:

  • ① Encoder-Attention:これは一般的な用語ではありません。
  • ② Source-Target Attention:これは通常、異なるソースとターゲットの間での注意を指すかもしれませんが、一般的なTransformerの用語としては適切ではありません。
  • ④ Encoder-Decorder Attention:これは、エンコーダとデコーダの間での注意を指し、エンコーダの出力に対してデコーダが注意を払う部分ですが、これは入力の計算という文脈では適切ではありません。

問題