G検定模擬問題(4) 問153 解答

最も適切な選択肢は:
③ 自己教師あり学習(Self-Supervised Learning)

解説:
BERT(Bidirectional Encoder Representations from Transformers)の学習方法:
・BERTは自己教師あり学習(Self-Supervised Learning)を用いて事前学習を行い、その後、特定のタスク(質問応答、文書分類など)に対して ファインチューニングを行うことで高い精度を実現しました。
・自己教師あり学習とは、ラベルなしの大量データから自動的にラベルを生成し、それを用いて学習を行う手法です。
・BERTの事前学習では、以下の2つの手法を用いています:
1.Masked Language Model(MLM):
・文章内の一部の単語(通常15%)をマスク([MASK]トークン)し、文脈からマスクされた単語を予測することで、単語間の関連性を学習。
2.Next Sentence Prediction(NSP):
・2つの文が連続した文かどうかを判別するタスクを設定し、文章レベルの理解を向上させる。

各選択肢の評価:
① 教師あり学習(Supervised Learning)
・誤り:
・教師あり学習は、明示的なラベル(例:正解と不正解)を与えて学習する手法です。
・BERTの事前学習ではラベルなしのデータを利用し、自己教師あり学習を行います。
② 強化学習(Reinforcement Learning)
・誤り:
・強化学習は、エージェントが環境と対話しながら報酬を最大化するように学習する手法(例:ゲームプレイやロボティクス)であり、 BERTの事前学習とは関係ありません。
③ 自己教師あり学習(Self-Supervised Learning)
・正しい:
・BERTの事前学習は、データから自動的にラベル(マスクされた単語や文章ペアの関係)を生成する自己教師あり学習で行われています。 ④ 半教師あり学習(Semi-Supervised Learning)
・誤り:
・半教師あり学習は、少量のラベル付きデータと大量のラベルなしデータを組み合わせて学習する手法ですが、BERTの事前学習では使用されて いません。

問題