８９　ブースティング

一部のデータを繰り返し抽出し、複数のモデルを学習させる。逐次的にモデルを作成する。アンサンブル学習の一つ。同じ種類のモデルを直列に組み合わせ、前のモデルの予測値を補正しながら学習を進める。GBDT等のモデルでも用いられている。

ブースティングはアルゴリズム的に制限されてはおらず、多くの場合、分布に従って弱い分類器に繰り返し学習させ、それを最終的な強い分類器の一部とするものである。弱い分類器を追加する際、何らかの方法で重み付けをするのが一般的で、重み付けは弱い学習器の正確さに関連しているのが一般的である。弱い学習器が追加されると、データの重み付けが見直される。すなわち、誤分類される例は重みを増し、正しく分類される例は重みを減らす（boost by majority や BrownBoost などの一部のブースティングアルゴリズムは、繰り返し誤分類される例の重みを減らす）。従って、新たに追加される弱い学習器は、それまでの弱い学習器が誤分類していた例に注目することになる。