动态规划
动态规划(Dynamic Programming,DP)是运筹学的一个分支,是求解 决策过程最优化 的过程。20世纪50年代初,美国数学家贝尔曼(R.Bellman)等人在研究多阶段决策过程的优化问题时,提出了著名的最优化原理,从而创立了动态规划。动态规划的应用极其广泛,包括工程技术、经济、工业生产、军事以及自动化控制等领域,并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了显著的效果。
虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题,但是一些与时间无关的静态规划(如 线性规划、非线性规划 ),只要人为地引进时间因素,把它视为多阶段决策过程,也可以用动态规划方法方便地求解。
在现实生活中,有一类活动的过程,由于它的特殊性,可将过程分成若干个互相联系的阶段,在它的每一阶段都需要作出决策,从而使整个过程达到最好的活动效果。因此各个阶段决策的选取不能任意确定, 它依赖于当前面临的状态,又影响以后的发展 。当各个阶段决策确定后,就组成一个决策序列,因而也就确定了整个过程的一条活动路线.这种把一个问题看作是一个 前后关联具有链状结构的多阶段过程 就称为多阶段决策过程,这种问题称为多阶段决策问题。在多阶段决策问题中,各个阶段采取的决策,一般来说是与时间有关的, 决策依赖于当前状态,又随即引起状态的转移 ,一个决策序列就是在变化的状态中产生出来的,故有“动态”的含义,称这种解决多阶段决策最优化的过程为动态规划方法
动态规划算法通常用于求解具有某种最优性质的问题。在这类问题中,可能会有许多可行解。每一个解都对应于一个值,我们希望找到具有最优值的解。 动态规划算法与分治法类似 ,其基本思想也是将待求解问题分解成若干个子问题,先求解子问题,然后从这些子问题的解得到原问题的解。与分治法不同的是, 适合于用动态规划求解的问题,经分解得到子问题往往不是互相独立的 。若用分治法来解这类问题,则分解得到的子问题数目太多,有些子问题被重复计算了很多次。如果我们能够保存已解决的子问题的答案,而在需要时再找出已求得的答案,这样就可以避免大量的重复计算,节省时间。我们可以用一个表来记录所有已解的子问题的答案。不管该子问题以后是否被用到,只要它被计算过,就将其结果填入表中。这就是动态规划法的基本思路。具体的动态规划算法多种多样,但它们具有相同的填表格式。
以一个例子来说明动态规划的概念(leetcode第5题最长回文子串):
在这个例子中,一个字符串如果是回文子串,那么去掉头尾也照样是回文子串。而每一个字符都有可能是最长回文子串的一部分。
上面这个例子使用一个二维数组表示各个阶段的状态,这个二维数组的行是子串的起始位置,列是子串的结束位置。由于j>=i,所以只需要考虑二维数组的主对角线的上半部分,对角线上的值永远是true。用true表示这个子串是回文串,false不是回文串。那么对于某个固定位置的数组元素来说,它的值依赖于左下角的元素的值。进行填充的时候只能一列一列地进行填充,同一列的元素从上到下依次填充。