４０３　言語モデル

Language Model：過去に入力された単語列から次に来る単語を予測するというもので、音声処理でも自然言語処理でも使われる。

言語モデルとは、人間が話したり書いたりする「言葉」を、単語の出現確率でモデル化したものです。昨今ではニューラルネットワークによる言語モデル (ニューラル言語モデル) が広く使われています。言語モデルには、左から右に順々に単語を予測するCausal Language Model (CLM) と、文中の単語を一部隠して「穴埋めクイズ」を解くMasked Language Model (MLM) があります。大規模な言語データを用いて、CLMやMLMのような方式で学習することで、高品質な言語モデルの構築が可能になります。