联结主义
——另一条道路

当符号主义高歌猛进时，另一群人则在更加坎坷的道路上艰难探索。这条路就是联结主义。如果说符号主义的目标是模拟人类的思维过程，那么联结主义则旨在模仿人类大脑的运作方式。符号主义称霸了早期的AI，以神经网络为基础的联结主义则统治了今天的AI。

联结主义的起源甚至比符号主义更早。1943年，神经科学家沃伦·麦卡洛克与数学家沃尔特·皮茨在《数学生物物理学通报》上发表的论文中首次提出了人工神经模型。后来，人们根据麦卡洛克和皮茨的名字将这个仅有二进制激活函数的模型命名为“M-P神经元模型”。尽管这是人类首次将神经元抽象为阈值逻辑单元，为神经网络奠定了数学基础，但它还是太简单了，以至于人们不知道它能用来做什么。

转机来自达特茅斯会议召开一年之后，1957年，弗兰克·罗森布拉特在IBM 704计算机上模拟实现了感知机Mark1，标志着联结主义的首次技术突破。这个由400个光电池、100个神经元组成的装置，通过调整权重实现了0～9的手写数字识别。更具革命性的一点是，它无须编程即可自主学习——这种“数据驱动”的范式，与符号主义的“规则驱动”形成鲜明对比。正如罗森布拉特所预言的：“感知机将为理解人类智能提供钥匙。”

要让感知机能够识别手写数字，我们需要将大量手写数字的数据集“投喂”给神经网络，这个过程又被称为机器学习。

第一步，将训练集里的每个手写数字图片转化为28×28总共784个像素（见图2-2），然后用784个神经元去识别这784个像素。我们给每一个像素赋予一个数值。比如，手写图片9正中央的像素，它的赋值对9来说应该是一个负值，因为如果这个像素在图片中间出现，那么这个图片是9的可能性就降低了，而对于数字1来说，这个赋值就应该是正的，因为它一旦出现，这个图片是1的可能性就上升了。我们把这个像素的赋值称作权重。

第二步，将784个像素的赋值归一化，就可以将一幅像素画转化为特定的数值范围，对应0～9不同的数字，这时感知机就可以识别数字了。

科研人员让感知机识别大量手写数字图片（见图2-3），并通过识别的结果不断调整每个神经元的参数，直到整个感知机可以准确地输出答案，这和今天几百亿参数大模型的训练过程并没有本质区别。

感知机识别手写数字的训练，是人类首次摒弃了传统编程，通过预先调整参数的方式，单纯依靠机器学习来完成智能任务，开辟了与图灵机和符号主义完全不同的一条人工智能发展新路径。至今，所有基于神经网络的人工智能模型在基本工作原理上仍与感知机保持一致（见图2-4）。从此刻起，人类终于给了机器一个自主学习的大脑，机器学习时代发出了第一次微弱的脉搏。

然而好景不长，1969年明斯基与西摩·佩珀特合著的《感知机》将机器学习的婴儿扼杀在襁褓中。他们通过数学证明：单层感知机无法解决XOR（异或）等非线性问题（见图2-5）。早期神经网络可以轻松解决OR（或）问题，却无法处理XOR这样的非线性问题，导致神经网络研究陷入长期停滞。

这个结论被过度解读为“神经网络没有前途”，导致美国政府切断了资助。这种理论打击与罗森布拉特的意外离世形成双重暴击，联结主义研究进入长达37年的寒冬。

颇具讽刺意味的是，《感知机》一书其实提到了多层网络可能突破限制，但当时无人具备实现它的算力与算法。这也是人工智能第一次遭遇算力与算法的瓶颈挑战，但是一旦凿开这堵叹息之壁，前方便是一片光明。这也为后来的大模型“大力出奇迹”的模式埋下了伏笔。随着时间的推移，人工智能的发展逐渐依赖于算力和数据的堆砌，演变成了一场大模型的军备竞赛。正是凭借不断增加的算力与数据量，大模型才能够展现出其强大的能力和“大力出奇迹”的特点，这也展现出算力与数据对大模型至关重要的推动作用。

20世纪七八十年代，神经网络研究沦为学术边缘课题。只有少数“逆行者”仍在坚持：芬兰学者托伊沃·科霍宁提出自组织映射（self-organizing map，SOM），证明神经网络能够实现无监督学习；日本科学家甘利俊一建立信息几何理论，为深度学习奠定数学基础；当然，还有本书前文提到的盗火者辛顿。 6Xxw3WWKI6Znw556xHr/1+5ggokkeq+MfpiCYbYojxx0Qaryk7F/rjzP1rA0Ljhk