Question

BP神经网络的隐层节点数对预测精度有何影响

Answer 1

神经网络本身的优化过程，实际上是对一组更加有效的层节点值进行选择。这个问题的回答，于是可以用两个很极端的例子来思考。一种情况是，只有一个节点。那么这个方程就变成了一个非常简单的线性方程y=ax+b的形式。其中a和b就是权值和偏置。在这种情况下，如果你有一个非线性的系统，那么肯定，这个预测的偏差就会非常大。另外一种情况，节点的数量无穷多。因为你的样本数量是有限的，那么如果想要达到一个比较好的优化，就会出现无限多的权值和偏重组合。这些组合都不相同，但是都可以达到一个类似的结果。那么结果就是，这些组合就会呈现出随机的特性，因为他们的初始值都是随机给出的。那么产生的结果就是，针对你的训练样本，他们的表现很可能非常好，但是如果你要做内推和外推，这个结果就会呈现出非常非常大的随机性。
那么产生了一个矛盾，如果节点数太小，那么无法完全的呈现出你样本的关联特性；如果选择节点数太多，那么你的神经网络结果又会呈现出极大的随机性。这是一个很矛盾的问题。
直到目前为止，我读到的文献中，只有一个人曾经提到，你的神经网络节点数量应该是你输入数据的大小*(2-32之间的数值)。比如你的输入数据为5个点，你有100个样本，那么你的节点数量选择就在5×2 到5×32之间。这个也和你的样本总数量有个，如果你有100个样本，那么5×32这种节点数量可能就太大了。5×32总共有160个权值160个偏置，其中还有各种交叉。100个样本想要解决这个问题，明显你能感觉到好像是用2个数组解一个4元的方程组一样。没有固定的解。
因为没有具体的问题，所以只能说这么多了。