Question

模型不收敛的原因

Answer 1

1、反向传播链断裂

即其中有部分的变量可能被转换为 numpy 数组，虽然仍然能够参与计算，但却失去了梯度传播的能力，导致无法向后面的变量传播梯度

2、学习率设置不合理

如果学习率设置得太大，则容易造成 loss 变成 nan，导致模型不收敛，设置得太小，则会导致模型学习得很慢

3、神经网络层参数没有进行好的参数初始化

因为参数初始化会影响到模型的训练速度

4、神经网络层参数没有进行梯度裁剪

没有进行梯度裁剪的话可能会导致梯度爆炸，从而使得模型无法将有效的梯度反向传播

5、训练次数不足

模型要经过足够多的学习之后，才能够学习到好的特征，过早地暂停模型的训练，会导致模型并没有学习到好的特征

6、训练批次中的样本数量太少，导致 loss 值存在波动，从而造成模型不收敛的错觉