Question

范数的定义是什么?

Answer 1

范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数。所以范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。

范数理论是矩阵分析的基础，度量向量之间的距离、求极限等都会用到范数，范数还在机器学习、模式识别领域有着广泛的应用。

特点：

L0范数与L1范数都可以实现稀疏，而L1范数比L0具有更好的优化求解特性而被广泛使用。 L0范数本身是特征选择的最直接的方案，但因为之前说到的理由，其不可分，且很难优化，因此实际应用中我们使用L1来得到L0的最优凸近似。

总结一下上两段的结论就是：L1范数和L0范数可以实现稀疏，L1因为拥有比L0更好的优化求解特性而被广泛应用。

从学习理论的角度来说，L2范数可以防止过拟合，提升模型的泛化能力。从优化或者数值计算的角度来说，L2范数有助于处理condition number不好的情况下矩阵求逆很困难的问题。