下载掌阅APP，畅读海量书库
立即打开
训练神经网络是一个为神经网络架构构造最优权重的过程，通过重复在给定学习率下的前向传播和反向传播这两个关键步骤来实现。
在前向传播中，对输入数据施加一组权重，把它传递给隐藏层，并执行非线性激活函数实现隐藏层的输出，隐藏层到输出层则是使用隐藏层节点的值与另一组权重值相乘来估计输出值，最后计算出给定权重集对应的总体损失。对于第一次前向传播，权重值被随机初始化。
在反向传播中，通过在一个方向上调整权重来减小损失值（误差），以减少总体损失。此外，权重更新的大小是梯度乘以学习率。
前向传播和反向传播的过程不断重复，直到达到尽可能少的损失。这就意味着，在训练结束时，神经网络调整了它的权重 θ ，以便预测出希望的预测输出值。在上述例子中，网络模型经过训练后，当{1, 1}作为输入时，更新后的网络预测输出值为0。