下载掌阅APP，畅读海量书库
立即打开
在全连接神经网络、卷积神经网络中，信息仅在一个方向上从输入层向前移动，通过隐藏节点到达输出层，整个网络中没有循环或者回路。
下面以具有一个输入层、两个隐藏层、一个输出层的简单神经网络为例介绍信号前向传播过程。如图2.7所示，输入层输入参数有两个，分别为1和-1，整个计算过程均按照 kx + b 的形式，即输入参数乘以权重加上偏置，最终经过激活函数得到输出。图中箭头上方数字为权重，三角形框内数字为偏置，使用激活函数为sigmoid函数。如第一层神经网络中第一个神经元的结果是由第一个输入1乘以权重1加上第二个输入-1乘以权重-1，再加上偏置1得到3，最后再将3输入激活函数sigmoid函数得出最终输出结果0.95，即
图2.7 神经网络信号前向传播
其他各个神经元的计算方法都与之类似。不难看出，全连接神经网络实际上就是由多个单层感知器按照一定的规则互相连接起来所形成的。整个神经网络叠加起来可以将其抽象为一个函数，这个函数的输入就是前馈神经网络的输入1和-1，函数计算的结果就是前馈神经网络对应的输出0.61和0.64，即
到此为止，只是初步确定出了这个函数的基本形态、输入以及输出，具体函数内部的各个参数值应该是多少还没有完全确定下来，因此现在这个函数实际上还是一个函数集合，并不是一个准确特定的函数。而参数学习需要做的事情就是去不断学习调整权重和偏置参数，学习过程需要尽可能地缩小调整函数集合的范围，快速找到一组参数能够获得最理想的输出结果。