１８１　ReLU関数

y=max(0,x)で表された関数。Ｘが０より大きい限り、微分値は常に最大値である1が得られ、誤差伝播の際に勾配が小さくなりにくい（勾配消失しにくい）。