Question

bp神经网络学习率可以大于1吗

Answer 1

学习率η也称为步长，在标准BP算法中定为常数，然而在实际应用中，学习率选得过小，收敛速度太慢；学习率选得过大，则有可能修正过头，导致振荡甚至发散。另外也很难确定一个从始至终都适合的最佳学习率。从误差曲面可以看出，在平坦区域内η太小会使训练次数增加，因而希望增大η；而在误差变化剧烈的区域，η太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。为了加速收敛过程，一个较好的思路是自适应改变学习率，使其该大时增大，该小时减小。

设为1太大了。