GPTの最新版であり2020年5月に登場し、パラメータ数は1750億となり言語生成タスクが非常に高精度に行える。
GPT-3は2015年12月にイーロン・マスクなど有力な実業家・投資家が参加したことで注目を集めたOpenAIが開発している言語モデルの最新版のことです。
約45TBの大規模なテキストデータのコーパスを約1750億個のパラメータを使用して学習するため、高い精度である単語の次にくる単語の予測を可能にし、あたかも人間が書いたような文章を自動で生成します。
それでは、ある単語の次に来る単語の予測とはどのようなものでしょうか。例えば「明日の天気は」という単語列を与えた場合、次に来る単語の確率が、晴れ:40%、曇り:30%、雨:15%、明るい:5%、うれしい:5%、美味しい:3%、は:2%だとすると、「明日の天気は」の後に続く単語は天気を表す単語「晴れ」、「曇り」、「雨」の順に確率が高いことになり、「明るい」、「うれしい」、「美味しい」、「は」になる確率は低いと言えます。GPT-3は、このようにある単語の次に来る単語を高い精度で予測していくことで自動的に文章を完成させます。
