2.3 自适应线性神经元与算法收敛

本节将介绍另外一种单层神经网络（Neural Network，NN）：自适应线性神经元（ADAptive LInear NEuron，Adaline）。在Rosenblatt提出感知机算法几年之后，Bernard Widrow和他的博士生Tedd Hoff提出了Adaline算法，Adaline被认为是对感知机的改进（B.Widrow，et al.An Adaptive “Adaline” Neuron Using Chemical “Memistors”，Technical Report Number 1553-2，Stanford Electron Labs，Stanford，CA，October 1960）。

Adaline算法特别有趣，因为它阐明了定义和最小化损失函数的关键概念。这为理解逻辑回归（logistic regression）、支持向量机、多层神经网络和线性回归模型等其他机器学习分类算法奠定了基础，本书将在后续章节中讨论这一算法。

Adaline规则（也称为Widrow-Hoff规则）与Rosenblatt感知机的主要区别在于，Adaline规则使用线性激活函数更新权重，而感知机则使用单位阶跃函数更新权重。Adaline使用的线性激活函数 σ （ z ）的输入与输出相同，即函数表达式为 σ （ z ）= z 。

虽然Adaline规则使用线性激活函数学习权重，但仍然使用阈值函数进行最终的预测，这与前面讨论的单位阶跃函数类似。

图2.9展示了感知机和Adaline算法的主要区别。

如图2.9所示，Adaline算法使用样本的真实类别标签和线性激活函数输出的连续值计算模型误差并更新权重。相比之下，感知机使用样本的真实类别标签和预测类别标签计算误差、更新权重。 QXEPqAKYAkdV3LugJhHQBPzua2D6KvYoSlpSTl1jCdVvBcAV0LN63yJtNWLjpqWZ