Question

BP神经网络在线学习的误差计算方法

我在看资料的时候，发现反馈神经网络在线学习方法中，输入一条数据，计算一次误差，调整一次权重，然后再输入一条数据，计算一次误差，调整一次权重。。。，然后当所有数据都输入完了，将每次的误差的累计和，与误差阈值比较，小于则停止；
问题来了：
输入第二条数据，计算误差并调整权重后，第一条数据在此权重下的误差可能会变大，那这样累计的误差和是每个数据在不同权重下的误差和，这还有意义吗？为什么？

Answer 1

标准BP算法中，每输入一个样本，都要回传误差并调整权值，这种对每个样本轮训的方法称为“单样本训练”。由于单样本训练遵循的是只顾眼前的“本位主义”原则，只针对每个样本产生的误差进行调整，难免顾此失彼，使训练次数增加，导致收敛速度过慢。因此，有另外一种方法，就是在所有样本输入之后，计算网络的总误差，再根据总误差调整权值，这种累积误差的批处理方式称为“批训练”或“周期训练”。在样本数较多时，批训练比单样本训练的收敛速度更快。

Answer 2

不是这样的吧，我觉得应该是先初始化权重，就是对神经网络初始化，然后输入训练样本，计算训练样本的真实输出与神经网络输出的MSE。再根据梯度下降法，调整权重。

追问

你说的是离线学习吧

Answer 3

可以这样认为，每一次的样本调节网络权值是在不同维度的梯度上，这样即使第二个样本使得第一个样本的误差有所改变也不会变的比之前大，这样迭代很多次后就收敛了。

追问

这样的话，很有可能数据还没完全输入就由于某一条达到阈值而停止了