Question

现在模拟退火算法、粒子群优化算法、遗传算法和蚁群优化算法现在用的还多吗？

本人搞深度学习，平日里用的优化算法大部分都是梯度下降法和牛顿梯度法，上面这几个算法都是干什么用的？现在用的还多吗？

Answer 1

我是人工智能的小白，不能告诉你这几个算法是否是人工智能，不过碰巧多年前学习优化算法时，接触过这些算法。在这里分享几个关于算法的故事吧。

货郎担问题

有个快递小哥要跑遍全城送货，您打算帮他规划一条最短的路线。该怎么做呢，最直接的办法是穷举法。罗列出所有可能的线路，计算出每条线路的距离，寻求最短的路径。看起来很简单吧。可是在实际的路网上，路线组合是非常多的。如果有15个目的地，组合的数量至少是15的阶乘。更何况还要考虑路况，收费免费，时间段等各种条件的组合，这样的计算量恐怕是量子计算机也不能在可接受的时间里完成。这象是对条件不足多元方程组求解，要从无穷多的解中找出最接近期望值的解。于是，人们想出了许多快速逼近最优解的办法。

蚂蚁算法

蚂蚁出来觅食时，先是向四面八方出动，发现食物的蚂蚁会掉头回来通知其它的蚂蚁。接到通知的蚂蚁就会向食物的方向移动。蚂蚁移动时会在路线上留下气味。这样在通向食物的路线上气味就越来越浓，后面的蚂蚁不用直接接到信息，只要追着最浓的气味就可以找到食物。人们受到这个现象的启发，设立出来先按随机条件计算，在小范围内找到局部最优解之后，就为这些条件加分。一定时间后就围绕着分数高的条件计算，不断反复后得到的解被当作近似最优解。这就是蚂蚁算法的原理。

神经网络

和蚂蚁算法类似，人的记忆是通过神经元的突出建立起联系实现的。类似的刺激会使联系增强。达到一定刺激量之后，就可以形成长久的记忆。模仿这一过程，人们把各种约束条件当作神经元，随机选取路线，输入各种条件，当路径倾向于缩短时，就按照权重给各条件加分，反之就给条件减分，然后，根据分数，以最有利于优化的条件为主重新选择路线，反复该过程直到达到边界条件时，就认为得到了近似最优解。遗传算法，模拟退火算法，也都是用一定的方法，缩小计算范围，通过求局部最优解逼近最优解的。就不啰嗦了。

人工智能和优化算法

优化算法实际上是从早期人工智能的研究发展起来的，从这个意义上说，这些算法也可以说是人工智能吧。