４８３　確率的勾配降下法

Stochastic Gradient Descent : SGD：訓練データーつに対して重みを1 回更新する学習方法。

SGD(確率的勾配降下法)では、ランダムに抽出した1つのデータを使って関数の最小値を探索します。

【メリット】

• メモリの使用量が少ない
• オンライン学習が可能
  (途中でデータを追加できる)
• 選ぶデータによって局所解を回避できる可能性がある

【デメリット】

• 解への到達が遅いことがある
• 外れ値の影響を大きく受ける