Question

神经网络中ReLU是线性还是非线性函数？如果是线性的话为什么还说它做激活函数比较好？

Answer 1

1、严格来说的话
ReLU算是分段线性函数。中间隐层激活函数采用线性函数（例如恒等变换）不好是因为，最后算下来多层网络跟单层网络一个效果。其实
激活函数的存在是为了神经网络更好的拟合目标函数而已。
2、ReLU比sigmoid和tanh好是因为它的收敛速度快（sigmoid、tanh函数在自变量比较大的时候
导数很小，采用梯度下降法
变化缓慢，特别是多层网络
就更慢了）,计算量比较小（只需要一个阈值进行比较
而不需要做函数运算）。

Answer 2

1、严格来讲
ReLU函数算是分段线性函数。中间隐层激活函数选用线性函数（例如恒等函数）不好，是因为算下来多层网络和单层网络一个效果。其实激活函数的存在是为了神经网络更好的拟合目标函数；
2、ReLU比sigmoid或tanh好
是因为他的收敛速度比另外两个快很多（sigmoid自变量比较大时导数趋于零
采用梯度下降法
反应慢，多层网络更为明显），计算量也要小（ReLU只需要和阈值做比较，不需要带入函数计算）。