self-Attentionは文内の単語間の関係を直接計算できるが、語順の情報が失われるので、これを回避するために付加された単語の出現位置の固有情報。
①絶対位置コーディング
現在一般的に使用されている方法である学習位置埋め込みは、比較的単純で理解しやすい絶対位置をエンコードします。埋め込み位置を直接異なる位置に直接初期化し、埋め込みに単語に追加して、モデルをトレーニングのパラメーターとして入力します。
②相対位置コーディング
絶対位置エンコードを使用すると、異なる位置に対応する位置埋め込みは確かに異なりますが、位置1と位置2の間の距離は位置3と位置10の間の距離より近く、位置1と位置2は位置3と位置4と1だけ異なるだけです。
