「時間の重み」をネットワークに組み込む。過去の各時刻での隠れ層の状態を保持しておき、それぞれの重みを求め、出力を計算する際に隠れ層の状態の重み付き和を利用することで、時間の重みを考慮したモデル。「出力から見た時の各入力の貢献度（重み）を表しているので、こうした入出力」の対応関係を可視化できる。
注意 (Attention) は，入出力のソフトなアライメントを学習し，翻訳に関係する部分に着目しながら翻訳を行う手法である。Encoder 側の各ステップの中間層をすべて記録し，「彼女が her に対応する」といった単語アライメントや文脈情報を Decoder 側に考慮させることでエンコーダー・デコーダー翻訳モデルの弱点であった長文の翻訳を改善できる。
