神经网络权值怎么确定?

致爱丽丝星空之夜
高粉答主

2019-07-30 · 设备工程师,本钢板材股份有限公司
致爱丽丝星空之夜
采纳数:157 获赞数:242164

向TA提问 私信TA
展开全部

神经网络的权值是通过对网络的训练得到的。如果使用MATLAB的话不要自己设定,newff之后会自动赋值。也可以手动:net.IW{}= ; net.bias{}=。一般来说输入归一化,那么w和b取0-1的随机数就行。神经网络的权值确定的目的是为了让神经网络在训练过程中学习到有用的信息,这意味着参数梯度不应该为0。

参数初始化要满足两个必要条件

1、各个激活层不会出现饱和现象,比如对于sigmoid激活函数,初始化值不能太大或太小,导致陷入其饱和区。

2、各个激活值不为0,如果激活层输出为零,也就是下一层卷积层的输入为零,所以这个卷积层对权值求偏导为零,从而导致梯度为0。

扩展资料:

神经网络和权值的关系。

在训练智能体执行任务时,会选择一个典型的神经网络框架,并相信它有潜力为这个任务编码特定的策略。注意这里只是有潜力,还要学习权重参数,才能将这种潜力变化为能力。

受到自然界早成行为及先天能力的启发,在这项工作中,研究者构建了一个能自然执行给定任务的神经网络。也就是说,找到一个先天的神经网络架构,然后只需要随机初始化的权值就能执行任务。研究者表示,这种不用学习参数的神经网络架构在强化学习与监督学习都有很好的表现。

其实如果想象神经网络架构提供的就是一个圈,那么常规学习权值就是找到一个最优点(或最优参数解)。但是对于不用学习权重的神经网络,它就相当于引入了一个非常强的归纳偏置,以至于,整个架构偏置到能直接解决某个问题。

但是对于不用学习权重的神经网络,它相当于不停地特化架构,或者说降低模型方差。这样,当架构越来越小而只包含最优解时,随机化的权值也就能解决实际问题了。如研究者那样从小架构到大架构搜索也是可行的,只要架构能正好将最优解包围住就行了。

参考资料来源:百度百科-神经网络



岚中枫火3E
2010-08-24 · TA获得超过243个赞
知道答主
回答量:73
采纳率:0%
帮助的人:86.8万
展开全部
权值开始是自动生成的,然后根据训练数据训练神经网络,在训练过程中神经网络会根据输出误差自动调整权值,以达到输出要求。所以权值是和训练数据相关的,你在MATLAB 神经网络工具箱试下就知道了,在MATLAB的COMMAND输入nntool按enter可以得到界面!
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
wang433
推荐于2018-04-04 · TA获得超过969个赞
知道小有建树答主
回答量:320
采纳率:0%
帮助的人:122万
展开全部
(1)初始时,每个权值由随机数函数产生,值的范围为[-1,1]之间
(2)运行过程中,通过BP算法求得均方误差的梯度,然后调整BP网络的权值.如:w(i,j,k+1)=w(i,j,k)+Delta(e(i,j)).
本回答被提问者和网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
zxl35066008
2010-08-24 · TA获得超过385个赞
知道小有建树答主
回答量:141
采纳率:0%
帮助的人:129万
展开全部
权值是通过对 网络的训练得来的 ,是对期望输入输出数据的训练
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 更多回答(2)
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式