Question

请教一下机器学习大佬,神经网络求梯度为什么要用反向传播

Answer 1

自动微分算法分为正向模式和反向模式。反向模式是当前主流方法，但在某些情况下，正向梯度（forward gradient）可提供计算时间优势。正向梯度通过一次正向评估计算梯度，而不需要反向传播，计算成本明显降低。剑桥与微软等机构的研究者提出使用正向梯度实现稳定的梯度下降，改变了经典机器学习训练管道的计算复杂性。正向梯度有利于减少训练时间和精力成本，对机器学习硬件设计和大脑中反向传播的生物学合理性产生影响。

正向梯度定义为给定函数f和扰动向量v的向量乘积。在评估f的梯度时，使用正向模式直接提供方向导数，无需计算整个雅可比矩阵。通过多次正向运行，可以合并结果得到梯度。正向梯度下降算法用正向梯度代替标准梯度下降中的梯度，以实现优化目标。实验表明，在PyTorch中，正向梯度与反向传播相比，在内存消耗上没有显著差异。逻辑回归、多层神经网络和卷积神经网络的实验显示，在特定情况下，正向梯度的运行时间较短，损失性能表现更好。正向梯度算法在整个范围内对运行都是有利的，且内存消耗与反向传播相仿。