4.1　CNN发展简史与相关人物

早在20世纪60年代的时候，生物神经学领域的相关研究就表明，生物视觉信息从视网膜传递到大脑是由多个层次的感受野逐层激发完成的。到了20世纪80年代，出现了相应的早期感受野的理论模型。这一阶段是早期的朴素卷积网络理论时期。

1985年，Rumelhart和Hinton等人提出了BP神经网络，也就是使用著名的反向传播算法来训练神经网络模型。这基本奠定了神经网络的理论基础，如今大家在谷歌学术上可以看到，提出BP算法的这篇论文的引用次数是24914（这个数字随时都在变化），如图4.1所示。所以，如果你的论文里引用了BP算法，那么这个数字还会继续往上涨。

有了此前的理论积累，在BP算法提出三年之后，如今深度学习三巨头之一的Yann LeCun发现可以用BP算法来训练一种构造出来的多层卷积网络，并用其训练出来的卷积网络识别手写数字。1989年，LeCun正式提出了卷积神经网络（CNN）的概念 。因而，现在当提到Yann LeCun这个人物时，除深度学习三巨头的名号之外，他还有个名号就是深度学习之父。图4.2所示这四位深度学习顶级大咖中最左边这位就是Yann LeCun。

至于图4.2中的其他人，在此也一并介绍一下。除从左向右第一位卷积神经网络之父的Yann LeCun之外，第二位是前文提到的发明反向传播算法之一的Geoffrey Hinton，第三位则是在RNN和序列模型领域成就颇丰的Yoshua Bengio，这三位便是前面所说的深度学习三巨头，是他们支撑起了深度学习的发展。第四位便是我们熟悉的吴恩达（Andrew Ng）。大家若想更多地了解以上深度学习人物的故事，可以参看吴恩达对三位大神的采访，看他们对大家学习机器学习和深度学习是怎样建议的。

继续来看CNN的发展历程。LeCun正式提出CNN之后，经过多年的酝酿，于1998年提出了CNN的开山之作——LeNet5网络。提出LeNet5的这篇论文引用次数已达21444次（这个数字随时都在变化），如图4.3所示。

进入21世纪后，由于计算能力不足和可解释性较差等多方面的原因，神经网络的发展经历了短暂的低谷。直到2012年AlexNet在ImageNet竞赛上一举夺魁，此后大数据逐渐兴起，以CNN为代表的深度学习方法逐渐成为计算机视觉、语音识别和自然语言处理等领域的主流方法，CNN才真正实现开宗立派。 OqtAtiUcvG2xVHV+icxwEUkIqNaER2JFL51SNZY10vMbiKU9l/y+xLdGo1dRzz7w