Question

神经网络的训练可以采用二阶优化方法吗

Answer 1

1. 时间复杂度：使用二阶方法通常需要直接计算或者近似估计Hessian矩阵，这部分的时间损耗使得其相比一阶方法在收敛速度上带来的优势完全被抵消；
2. 某些非线性网络层很难（或不可能）使用二阶方法优化：如果这个情况为真，那是否可能针对每个网络层使用不同的优化方案，比如像Fully-Connected Layer这样的简单线性映射操作使用二阶方法，非线性网络层使用传统梯度下降方法？
3. 二阶方法容易被saddle points吸引，难以到达local minimal或者global minimal：NIPS 2014有篇论文([1406.2572] Identifying and attacking the saddle point problem in high-dimensional non-convex optimization)认为在高维情况下，神经网络优化最大的问题不是网络容易到达local minimal，而是容易被saddle points困住，因为在这种情况下，local minimal不管在loss值还是泛化能力上都与global minimal相差不大，反而是非常多的saddle points存在loss较高的空间中。