Question

人工智能深度学习的基础知识？

Answer 1

在提及人工智能技术的时候，对于深度学习的概念我们就需要了解，只有这样才能更加容易理解人工智能的运行原理，今天，天通苑电脑培训就一起来了解一下深度学习的一些基础知识。

首先，什么是学习率?

学习率(LearningRate，LR。常用η表示。)是一个超参数，考虑到损失梯度，它控制着我们在多大程度上调整网络的权重。值越低，沿着向下的斜率就越慢。虽然这可能是一个好主意(使用低学习率)，以确保我们不会错过任何局部最小值;但也有可能意味着我们将耗费很久的时间来收敛——特别是当我们陷入平坦区(plateauregion)的时候。

有没有更好的方法来确定学习率?

在“训练神经网络的循环学习率(CyclicalLearningRates(CLR)forTrainingNeuralNetworks)”[4]的第3.3节中。LeslieN.Smith认为，通过在每次迭代中以非常低的学习率来增加(线性或指数)的方式训练模型，可以估计好的学习率。

精益求精

在这个关键时刻，我们已经讨论了学习率的全部内容和它的重要性，以及我们如何在开始训练模型时系统地达到使用价值。

接下来，我们将讨论如何使用学习率来提高模型的性能。

一般看法

通常情况下，当一个人设定学习率并训练模型时，只有等待学习率随着时间的推移而降低，并且模型会收敛。

然而，随着梯度逐渐趋于稳定时，训练损失也变得难以改善。在[3]中，Dauphin等人认为，尽可能地减少损失的难度来自于鞍点，而非局部极小值。

迁移学习(TransferLearning)中的学习率

在fast.ai课程中，在解决AI问题时，非常重视利用预先训练的模型。例如，在解决图像分类问题时，教授学生如何使用预先训练好的模型，如VGG或Resnet50，并将其连接到想要预测的任何图像数据集。

什么是差分学习?

这是一种在训练期间为网络中的不同层设置不同的学习率的方法。这与人们通常如何配置学习率相反，即在训练期间在整个网络中使用相同的速率。