解答:
③ Self-Attention
理由: Transformerモデルでは、Self-Attention(自己注意機構)が入力の計算に広く利用されています。Self-Attentionは、入力シーケンス内の各位置の要素が、他の全ての位置の要素に対して注意を払う仕組みです。これにより、各単語のコンテキストを考慮しながら、その単語の表現を更新することができます。
その他の選択肢について:
- ① Encoder-Attention:これは一般的な用語ではありません。
- ② Source-Target Attention:これは通常、異なるソースとターゲットの間での注意を指すかもしれませんが、一般的なTransformerの用語としては適切ではありません。
- ④ Encoder-Decorder Attention:これは、エンコーダとデコーダの間での注意を指し、エンコーダの出力に対してデコーダが注意を払う部分ですが、これは入力の計算という文脈では適切ではありません。

