下载掌阅APP，畅读海量书库
立即打开
有了反向传播算法和深度神经网络，理论上机器就可以自主学习任何需要人类智能的任务了。今天动辄千亿参数的大模型本质上就是规模巨大的深度神经网络。
但这只是停留在理论上，辛顿那篇具有划时代意义的论文依旧没有掀起太多浪花。这当中固然有大环境的因素（当时的主流还是符号主义），但是极高的期待导致极度的怀疑，人工智能尚未从1973年《莱特希尔报告》引发的寒冬中走出来，维度灾难更是最真切的现实制约，多层网络的参数数量随层数呈指数级增长（如10层网络的参数可达百万级），而当时的数学工具无法解决梯度消失问题，导致训练陷入局部最优解，参数成了神经网络发展道路上的又一个魔咒。
除此之外，数据匮乏也让人工智能的发展陷入了恶性循环。20世纪80年代，全球数据总量不足100 GB（吉字节），且缺乏标准化标注数据集，这使得神经网络的发展缺乏必要的基础，网络的训练效果和泛化能力大打折扣，无法有效发挥其潜力。此时的神经网络还是无根之木，无源之水。
如前文所述，计算能力的制约是笼罩在神经网络头上的另一朵阴云。即便20世纪80年代计算机技术相较于1969年机器学习被宣判死刑的那一刻已经有了巨大进步，但依旧算力不足。深度神经网络需要大量的计算资源来处理复杂的多层神经网络和庞大的参数空间。当时的中央处理器（CPU）速度较慢，且计算并行性有限，而图形处理器（GPU）还没有普及。没有足够的计算资源，使得训练深度神经网络几乎不可能，尤其是在没有足够数据的情况下，神经网络无法充分发挥其潜力。
如今数据和算力的不足仍然是神经网络发展的桎梏，牢牢束缚着其前进的步伐，所以无怪当时的人们普遍不看好联结主义的未来。
打破这道枷锁除了依靠时间和技术进步，还要靠一位传奇女性——被称为“AI教母”的李飞飞教授。
李飞飞出生在中国，12岁时随全家移民到美国。刚到美国时，全家的生计都要依靠一家小小的干洗店。为了筹集学费，她曾到餐馆打工，做过家庭清洁工。拮据的生活并没有影响她卓越的学术成绩，反而磨炼了她的意志。2009年，她开始在斯坦福大学计算机科学系担任助理教授。在斯坦福，李飞飞长期致力于计算机视觉领域的探索，她的灵感源自对儿童图像识别过程的观察。人类的眼球平均每200毫秒便会移动一次，如果将眼睛比作相机，那么一个3岁的孩子已经看过数以亿计的图像。李飞飞认为，正是这种海量的视觉学习，赋予了大脑强大的视觉识别能力。要使计算机也具备类似的能力，必须提供大量的训练数据。受此启发，她与普林斯顿大学的李凯教授于2007年联合创建了图像识别数据库ImageNet，旨在推动计算机图像识别技术的发展。
然而，这一决策并未得到广泛支持，许多人劝她放弃。其中甚至包括李飞飞导师的导师吉滕德拉·马利克，后者曾劝导她放弃ImageNet，并告诉她：“科学的诀窍是与你的领域一起成长，而不是远远超前于它。”
李飞飞面临的机会成本非常高昂，如果数据库项目失败，她可能无法获得终身教授职称。但李飞飞毫不动摇，继续坚持推进数据库的建设。由于图像标注需要大量人工，李飞飞灵机一动，决定借助云计算技术发起全球众包，邀请来自160多个国家的近5万名网民参与，对互联网上的图片进行标注。用时两年，借助互联网上众筹的力量，李飞飞突破了数据对于神经网络的第一重限制。到2009年，ImageNet已经积累了2200个类别，涵盖了150亿张经过清理、分类和标注的图片。作为回报，这一庞大的数据库完全开源，免费对全球研究者开放。
毫无疑问，李飞飞所创立的ImageNet为计算机视觉领域的图像识别技术提供了极大的推动作用，也让全世界看到了深度学习的巨大潜力。从2010年起，ImageNet大规模视觉识别挑战赛（ILSVRC）每年都会举行，比赛的目标是评估哪款参赛算法能以最高的准确率完成物体和场景的分类与检测。这项具有量化标准且充满对抗性的赛事吸引了公众的广泛关注。彼时，几乎没人预见到，辛顿的深度神经网络在比赛中的首次亮相将成为改变世界的历史时刻。事实证明，取得伟大科学突破的诀窍不是等待学科领域的发展，而在于是否有挑战现状的巨大勇气。