Question

梯度的几何意义是什么

Answer 1

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

Answer 2

T是切向量，梯度向量与切向量垂直。

Answer 3

梯度对多元函数来说是一个很重要的概念，最典型的应用就是在无约束最优化问题求解方面，典型的案例就是一个多元函数求最小值问题。minf（X）（其中X∈R^n）
如果函数f形式简单，可以直接通过求一阶导数获得驻点，继而求二阶导数信息（黑塞矩阵），通过黑塞矩阵的正定，负定判断极值。然而，实际中绝大多数最优化问题的函数，求导数是复杂的，不能获得精确解，用数值分析方法才是最主要方法。
一个最简单的数值方法就是搜素算法，无非就是获得一个点x*，使得f（x*)最小，给一个初始点x0，然后令x1=x0+kP。k称为步长，P称为搜索方向（实际是与x元素相同的一个向量而已）。要求每搜索一步，函数值都相应减小，因此获得步长和搜索方向是问题的关键，最典型的方法就是梯度法，令P为梯度方向，也就是在令P=gradf|(x0)。然后代入f(x1)，这是一个关于k的一元方程，用求导方法使得，f(x1)=min，即可解出k，这样就完整的求出了这一次搜索的步长+方向，依次进行.....
直到||grad（f(x^k)）||<e。也就是在点x^k处的函数的梯度的模小于设定的相对误差e的时候，停止搜索。x^k就是所求最优解
因此，多元函数在X0点处梯度的模，其实就是在该点处，函数值的最大变化率。