Question

梯度下降算法的正确步骤是什么?

Answer 1

1、用随机值初始化权重和偏差。

2、把输入传入网络，得到输出值。

3、计算预测值和真实值之间的误差。

4、对每一个产生误差的神经元，调整相应的（权重）值以减小误差。

5、重复迭代，直至得到网络权重的最佳值。

梯度下降法，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。作为一种基本的算法，他在最优化方法中占有重要地位。其优点是工作量少，存储变量较少，初始点要求不高。其缺点是收敛慢，效率不高，有时达不到最优解。