下载掌阅APP，畅读海量书库
立即打开
如前所述，在训练过程中，我们调整参数 w ， b 以使误差持续减小。我们将在本节推导出这个误差（即损失函数）的定量表达式，并且探讨如何最小化这个误差。
总的来说，训练数据包括一组带有标签的输入，即已知基准真值的训练数据实例：
现在，我们来定义一个 损失函数 。在特定的训练数据实例上，损失函数能够有效地衡量机器在该训练数据（输入-目标对（ x （ i ） ， y （ i ） ））上的误差。虽然有许多更复杂的误差函数更适合这个问题，但为简单起见，我们将选取平方误差函数（在2.5.4节中介绍过）。第 i 个训练数据元素上的平方误差是模型输出与期望或目标输出之间的平方差：
训练期间的总损失（即平方误差总和）是
需要注意的是，这个总误差并不是任何特定训练数据实例的函数，而是整个训练数据集上的总体误差。我们通过调整 w 和 b 来最小化这个总体误差。确切地说，我们估计 w 和 b 的目标就是最小化 L （ w ， b ）。