教師なし学習（オートエンコーダーに相当する層）に制限付きボルツマンマシンという手法を用いる。
制限付きボルツマンマシンを積み重ねて深層にしたものが深層信念ネットワーク（deep belief networks、DBN）です。2006年にジェフリー・ヒントンらによってDBNでも深層の生成器の学習ができるようになることがわかりました。
生成器とは確率分布などによって入力データに似たようなデータを生成することができるネットワークです。
訓練済みのRBMにもう一つRBMを付け足します。訓練済みのRBMからの出力を入力として追加したRBMを学習させます。
なお、訓練が終わった隠れ層では、入力層へ向かう出力（生成）だけを考えるようにします。つまり、訓練済みの隠れ層から入力層へ向かってデータを生成できるようになっています。
さらにRBMを追加し訓練します。もっと深い層から入力層へ向かってデータを生成することができるようになります。
これを続けることで深層の生成器が出来上がります。
