Question

bp神经网络的算法改进一共有多少种啊！麻烦举例一下！

Answer 1

改进点主要在以下几个方面
1激励函数的坡度
———————误差曲面的平台和不收敛现象
————————————————激励函数中引入陡度因子，分段函数做激励函数

2误差曲面
——————误差平方做目标函数，逼近速度慢，过拟合
————————————————标准误差函数中加入惩罚项
————————————————信息距离和泛化能力之间的关系，构建新的神经网络学习函数
3网络初始权值的选取
—————————通常在【0,1】间选取，易陷入局部最小
—————————————————复合算法优化初始权值
—————————————————Cauchy不等式和线性代数方法得最优初始权值
4改进优化算法
————————标准BP采用梯度下降法，局部最小收敛慢
——————————————————共扼梯度法、Newton法、Gauss一Ncwton法、Lvenber_Marquardt法、快速传播算法
——————————————————前馈网络学习算法，二阶学习算法，三项BP算法，最优学习参数的BP算法。
5.优化网络结构
————————拓扑结构中网络层数、各层节点数、节点连接方式的不确定性
——————————————构造法和剪枝法（权衰减法、灵敏度计算方法等）
——————————————网络结构随样本空间进行变换，简化网络结构
6混合智能算法
————————与遗传算法、进化计算、人工免疫算法、蚁群算法、微粒群算法、
————————模糊数学、小波理论、混沌理论。细胞神经网络

Answer 2

1、引入动量项
2、变尺度法
3、变步长法
具体怎么做，网上都有相关资料，公式比较难打，只能写到这个份