以下の文章を読み、空欄(ア)に最もよく当てはよる選択肢を1つ選べ。
ディープラーニングの利用により、機械翻訳や音声認識、キャプション生成の精度は大きく向上した。ここでは、エンコーダモデルが利用されることがある。ここでは、英語から日本語への機械翻訳における利用を想定する。
まず、入力側(エンコーダ)と出力側(デコーダ)のそれぞれに1つずつシンプルなRNN (Recurrent Neural Networks)を用いたモデルを考える。エンコーダは日本語の単語系列を受け取り、デコーダに最終ステップにおける(ア)を渡す。デコーダは出力として英語の単語系列を次々に出力するが、そのために(ア)と1ステップ前の自身の出力を利用する。また、このモデルの精度を向上させるための工夫として、アテンションという機構が提案されている。この機構では、デコーダが各ステップの(イ)の情報を利用することにより、出力する単語を決めるタイミングごとに、入力のどの単語に注目すペきかを決めることができる。
① エンコーダに入力された系列
② エンコーダから出力された系列
③ エンコーダの中問層
④ エンコーダのパラメータ
G検定模擬問題（２） 問180
