Question

优化方法基础系列-优化问题分类

Answer 1

最优化问题可以按照优化问题的状态来进行分类，可分了两类，即静态问题和动态问题。本优化方法系列主要从静脉问题方面进行记录，总结与概述。主要目的是便于以后查看和复习使用。

无约束方法可以从利用不同阶数的导数信息进行划分，即没有利用导数信息的直接求解最优解的方法、利用一阶导数的梯度方法、利用二阶导数的牛顿系列方法。这些方法是比较传统的无约束优化算法，后来学者又提出一些启发式的优化算法，比如遗传算法、模拟退火等等。

约束优化方法可以分为直接方法和间接方法。直接法的含义：在可行域内，通过构造一定的搜索模式，直接求得约束问题的最优解；间接法的含义：构造一个新的目标函数，将原问题转换为无约束优化问题，通过求解无约束优化问题，间接获得约束优化问题的最优解。

该系列后续章节，我们会从无约束优化方法聊起，再总结有约束的优化方法。 并对一些方法通过matlab进行实现，给一些直观的示例。