●用語集 ４１３ BERT
Bidiectional Encoder Representations from Transformers：Google社が開発した事前学習モデル。トランスフォーマーのエンコーダを利用する。Nasked Langage Model（MLM...
●用語集
●用語集 ●用語集 ４１２ GPT-3
GPTの最新版であり2020年5月に登場し、パラメータ数は1750億となり言語生成タスクが非常に高精度に行える。GPT-3は2015年12月にイーロン・マスクなど有力な実業家・投資家が参加したことで注目を集めたOpenAIが開発している言語...
●用語集 ４１１ GPT-2
GPTの後継で2019年2月に登場。約15億のパラメータを持ち、GPTでは行えなかった機械学習などの言語生成タスクも行える。一言で簡単にGPT-2といえば、「transformer + zero-shot learning + big da...
●用語集 ４１０ GPT
Generative Pre-training：OpenAIが開発した事前学習モデル。
●用語集 ４０９ 位置エンコーディング
self-Attentionは文内の単語間の関係を直接計算できるが、語順の情報が失われるので、これを回避するために付加された単語の出現位置の固有情報。①絶対位置コーディング 現在一般的に使用されている方法である学習位置埋め込みは、比較的単...
●用語集 ４０８ Self-Attention
自己注意機構。入力文内の単語間または出力文内の単語間の関係度を計算したもの。文脈を考慮したり適切な分散表現を得ることができる。すべての計算が並列に行え、高速に処理できる。
●用語集 ４０７ Encoder-Decoder Attention
入力文(source)と出力文(target)の橋渡しに使われるAttention機構。
●用語集 ４０６ Source-Target Attention
入力文(source)と出力文(target)の橋渡しに使われるAttention機構。Attentionではinputとなる「query」からmemoryの情報を引き抜くことで情報を取得します。具体的にはmemoryを「key」と「val...
●用語集 ４０５ Seq2Seq
Googleにより２０１４年に発表された。言語処理に使用される機械学習アプローチの一種。アプリケーションには、言語翻訳、画像キャプション、会話モデル、テキスト要約が含まれる。あるシーケンスを別のシーケンス(シーケンス変換)に変換する。これは...
●用語集 ４０４ CTC
Connectionist Temporal Classifficaton：RNNへの入力と出力の数は一致しない矛盾を出力候補として音素に加え空文字を追加し、さらに同じ音素を出力した場合には1度だけ出力したものと縮約する処理。