Question

神经网络的一些基础知识

Answer 1

背景 ：神经元在接收到输入之后，不会立即做出反应，而是要等输入增强到超过一个阈值，才会触发输出。也就是说，神经元不希望传递微小的噪声信号，而只是传递有意识的明显信号。

两个要点 ：1. 激活函数的形式；2. 激活阈值

两种激活函数 ：阶跃函数和S函数(逻辑函数)

通过改变连接权重，可以控制神经元输入值的大小。训练前对权重进行初始化，这些初始值借助误差进行学习优化，从而调整神经元之间的连接权重。

！注意 ：输入神经元不使用激活函数

（1）输入，（2）权重，（3）激活函数，（4）输出

    更新原则 ：（1）误差均分；（2）按权重分配

以寻找二次函数的最小值为例：

步骤： （1）任取初始点；（2）求斜率；（3）往相反的梯度方向增加X值

为提高准确性 ：

（1）选取多个起点，多次训练神经网络；

（2）选取合适的误差函数，利用梯度下降寻找误差函数极小值点，即是最优权重；

权重更新矩阵

神经元连接如下图所示：

以隐藏层和输出层之间的权重更新为例，误差函数定义为目标值与实际值之间的均方误差

（1）经验规则：从均值为零，标准方差等于节点传入链接数量平方根倒数的正态分布中进行采样。

（2）禁止将初始权重设定为相同的恒定值，禁止将初始权重设定为零。