神经网络中ReLU是线性还是非线性函数？如果是线性的话为什么还说它做激活函数比较好？
2个回答
展开全部
1、严格来说的话
ReLU算是分段线性函数。中间隐层激活函数采用线性函数（例如恒等变换）不好是因为，最后算下来多层网络跟单层网络一个效果。其实
激活函数的存在是为了神经网络更好的拟合目标函数而已。
2、ReLU比sigmoid和tanh好是因为它的收敛速度快（sigmoid、tanh函数在自变量比较大的时候
导数很小，采用梯度下降法
变化缓慢，特别是多层网络
就更慢了）,计算量比较小（只需要一个阈值进行比较
而不需要做函数运算）。
ReLU算是分段线性函数。中间隐层激活函数采用线性函数（例如恒等变换）不好是因为，最后算下来多层网络跟单层网络一个效果。其实
激活函数的存在是为了神经网络更好的拟合目标函数而已。
2、ReLU比sigmoid和tanh好是因为它的收敛速度快（sigmoid、tanh函数在自变量比较大的时候
导数很小，采用梯度下降法
变化缓慢，特别是多层网络
就更慢了）,计算量比较小（只需要一个阈值进行比较
而不需要做函数运算）。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
Sievers分析仪
2024-09-19 广告
是的。传统上，对于符合要求的内毒素检测，最终用户必须从标准内毒素库存瓶中构建至少一式两份三点标准曲线；必须有重复的阴性控制；每个样品和PPC必须一式两份。有了Sievers Eclipse内毒素检测仪，这些步骤可以通过使用预嵌入的内毒素标准...
点击进入详情页
本回答由Sievers分析仪提供
展开全部
1、严格来讲
ReLU函数算是分段线性函数。中间隐层激活函数选用线性函数（例如恒等函数）不好，是因为算下来多层网络和单层网络一个效果。其实激活函数的存在是为了神经网络更好的拟合目标函数；
2、ReLU比sigmoid或tanh好
是因为他的收敛速度比另外两个快很多（sigmoid自变量比较大时导数趋于零
采用梯度下降法
反应慢，多层网络更为明显），计算量也要小（ReLU只需要和阈值做比较，不需要带入函数计算）。
ReLU函数算是分段线性函数。中间隐层激活函数选用线性函数（例如恒等函数）不好，是因为算下来多层网络和单层网络一个效果。其实激活函数的存在是为了神经网络更好的拟合目标函数；
2、ReLU比sigmoid或tanh好
是因为他的收敛速度比另外两个快很多（sigmoid自变量比较大时导数趋于零
采用梯度下降法
反应慢，多层网络更为明显），计算量也要小（ReLU只需要和阈值做比较，不需要带入函数计算）。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
