Question

浅层神经网络，激活函数

Answer 1

优点：

缺点：

双曲正切函数等于双曲正弦与双曲余弦的比值，即

优点：

缺点：

z为正时，导数等于1；z为负时，导数等于0；z为0时，导数是没有定义的。

好处：

优点：

缺点：

for j=1,...,K

做二分分类， 激活函数很适合作为输出层的激活函数，其他所有单元都用ReLU函数。
tanh函数几乎在所有场合都更加优越
最常用的默认激活函数是ReLU

如果使用线性激活函数，那么神经网络只是把输入线性组合再输出，一直在计算线性激活函数，不如直接去掉全部隐藏层。模型的复杂度会和没有任何隐藏层的标准逻辑Logistic回归一样。