Question

迭代的算法是什么？

Answer 1

在计算数学中，迭代是通过从一个初始估计出发寻找一系列近似解来解决问题（一般是解方程或者方程组）的数学过程，为实现这一过程所使用的方法统称。

跟迭代法相对应的是直接法（或者称为一次解法），即一次性解决问题。一般如果可能，直接解法总是优先考虑的。

但当遇到复杂问题时，特别是在未知量很多，方程为非线性时，我们无法找到直接解法（例如五次以及更高次的代数方程没有解析解，参见阿贝尔定理），这时候或许可以通过迭代法寻求方程（组）的近似解。

最常见的迭代法是牛顿法。其他还包括梯度下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、惩罚函数法、斜率投影法、遗传算法、模拟退火等等。

方法

1、定常迭代法

这种方法易于推导，方便实现和分析，但只能保证某些特定形式矩阵求解的收敛性。定常迭代法的例子包括雅可比法，高斯-赛德尔迭代，以及逐次超松弛迭代法（SOR）。线性定常迭代法又称为松弛法。

2、Krylov子空间法

通过在子空间上最小化余量来得到近似解。Krylov子空间法的原型是是共轭梯度法（CG），其它方法还包括广义最小残量法（GMRES）和双共轭梯度方法（BiCG）。