Question

循环神经网络的反向传播

循环神经网络（如RNN,LSTM）进行反向传播时，需要从最后时刻依次反向传递误差（如图中的t+1时刻到t-1时刻），这样计算以后每个时刻的权重（W、V、U）会不一样，为什么在展开图中显示的是权重共享（即各个时刻的权重相同）的？

Answer 1

可以采用MATLAB软件中的神经网络工具箱来实现BP神经网络算法。BP神经网络的学习过程由前向计算过程、误差计算和误差反向传播过程组成。双含隐层BP神经网络的MATLAB程序，由输入部分、计算部分、输出部分组成，其中输入部分包括网络参数与训练样本数据的输入、初始化权系、求输入输出模式各分量的平均值及标准差并作相应数据预处理、读入测试集样本数据并作相应数据预处理；计算部分包括正向计算、反向传播、计算各层权矩阵的增量、自适应和动量项修改各层权矩阵；输出部分包括显示网络最终状态及计算值与期望值之间的相对误差、输出测试集相应结果、显示训练，测试误差曲线。