２０６　ミニバッチ学習

一度のパラメータを更新に用いるデータの数はバッチサイズと呼ばれる人手で設定するハイパーパラメータによって決定します。バッチサイズは1より大きく、全データ数より小さい値の中から決定されます。バッチサイズ分のデータで重みを更新するため、ミニバッチ学習には以下のような特徴がある。
・オンライン学習より学習が安定しやすく、バッチ学習より安定しにくい。
・オンライン学習よりも計算速度が早く、バッチ学習よりも遅い。
・オンライン学習よりもメモリ使用量が多く、バッチ学習よりも少ない。