在详细讨论感知机及其相关算法之前,先简单地介绍一下机器学习的起源。为了实现人工智能,人们试图去理解生物大脑如何工作,Warren McCulloch和Walter Pitts于1943年首次提出了简化的脑细胞概念,即所谓的McCulloch-Pitts(MCP)神经元(W.S.McCulloch,W.Pitts.A Logical Calculus of the Ideas Immanent in Nervous Activity,Bulletin of Mathematical Biophysics,5(4):115-133,1943)。
生物神经元是大脑中相互连接的神经细胞,参与处理和传递化学信号与电信号,如图2.1所示。
McCulloch和Pitts将这种神经细胞 建模为输出为二进制信号的逻辑门。神经细胞的树突接收多个信号,然后将接收到的信号整合到细胞体中。如果细胞体中累积的信号超过某个阈值,神经细胞就会产生输出信号并由轴突将其传递给其他神经细胞。
图2.1 处理化学信号和电信号的神经元
仅仅几年之后,Frank Rosenblatt发表的论文首次提出基于MCP神经元模型的感知机学习规则(F.Rosenblatt.The Perceptron: A Perceiving and Recognizing Automaton,Cornell Aeronautical Laboratory,1957)。根据这个感知机规则,Rosenblatt提出了一个可以自动学习的权重优化算法。使用优化后的权重对输入特征加权求和,并根据结果决定是否触发神经元(产生传输信号)。在监督学习的分类场景下,可以用这个算法预测一个新样本的类别归属。