下载掌阅APP，畅读海量书库
立即打开
近年来，人工智能技术得到了迅猛发展，特别是以深度神经网络为基础的深度学习理论与方法被广泛地应用于计算机视觉、医学影像处理与分析、信号处理等领域。这一节，我们将回顾神经网络，特别是深度神经网络的发展过程。一般地，其发展逻辑框架如图2-1-1所示。
图2-1-1 深度神经网络的发展过程
具体地，可分为起源阶段、发展阶段和爆发阶段。
神经网络最早可追溯到1943年。麦卡洛克和皮兹在论文《神经活动中内在思想的逻辑演算》中通过分析总结神经元基本特性提出了M-P模型。M-P模型借鉴了已知的神经细胞生物过程原理，建立了一个神经元工作的数学描述，是人类首次对大脑工作原理进行的探索，开创了神经网络的新时代，也奠定了神经网络的理论基础。
随后，唐纳德·赫布于1949年在《行为的组织》一文中提出了赫布规则（Hebb rule）。该规则模仿人类的认知过程建立了一种无监督学习的网络模型。具体来说，该模型针对训练数据提取其统计特征，再按样本的相似程度进行分类。某种程度上，赫布规则与“条件反射”机制描述一致。
在M-P模型和赫布规则的研究基础上，1958年罗森布拉特提出了“感知机”学习，该模型是一种模拟人类学习过程的学习模型。在此基础上，他建立了由两层人工神经元组成的“感知机”，能够实现线性可分数据的二分类问题。该模型吸引了大量研究者研究神经网络，对神经网络发展具有重要意义。
但随后，“AI之父”明斯基和计算机语言学家派珀特在《感知机》一书中以逻辑中的异或运算为例，证明单层感知机无法解决线性不可分问题。由于该问题没有得到及时解决，导致神经网络在20世纪70年代进入了第一个寒冬期。
1982年，物理学家霍普菲尔德发明了以他名字命名的霍普菲尔德神经网络。该网络可以模拟人类的记忆，结合不同的激活函数，用于优化计算和联想记忆。但由于易陷入局部最值，该算法在当时并没有引起轰动。1986年，深度学习之父辛顿与鲁梅尔哈特、威廉姆斯一同提出了一种适用于多层感知机的反向传播（back propagation，BP）算法。事实上，沃伯斯在1974年就发现了BP神经网络的学习算法，但没被关注。BP神经网络在传统神经网络正向传播的基础上，增加了误差的反向传播过程，使得神经元之间的权值和阈值得到不断的调整，直到迭代收敛，并证明了神经网络的全局逼近定理。该模型完美地解决了非线性分类问题，让神经网络再次受到广泛关注。
由于当时计算机的硬件水平有限、运算能力不足，加上当时数据采集困难，这就导致当神经网络的规模增大时，BP神经网络出现了“梯度退化”问题与模型过拟合现象，导致BP神经网络应用受到了很大限制。再加上20世纪90年代中期，以支持向量机（support vector machine，SVM）算法为代表的其他浅层机器学习算法被提出，并在分类、回归问题上均取得了很好的效果（特别是对于小样本数据的分类与回归问题），所以神经网络的发展再次进入了瓶颈期。
2006年，辛顿和他的学生萨拉赫丁诺夫在《科学》杂志上正式提出了深度学习的概念。他们详细给出了“梯度退化”问题的解决方案，并立即得到了机器学习领域的认可。随后，以斯坦福大学为代表的众多世界知名科研机构纷纷进入深度学习领域的相关研究，而后又迅速蔓延到工业界。事实上，这与2012年的大规模图像识别竞赛（ImageNet large scale visual recognition challenge，ILSVRC）有关。当时，辛顿课题组提出的AlexNet深度学习模型以绝对优势获得了冠军。同年，斯坦福大学吴恩达教授和世界顶尖计算机专家迪恩提出深度神经网络（deep neural network，DNN），并在图像识别领域进一步提升了识别精度。
随着深度学习技术的不断进步、数据的大量积累和算力的不断提升，众多知名AI公司进入深度学习领域。例如，2014年Facebook（脸书）构建基于深度学习技术的DeepFace团队，在人脸识别方面的准确率超过了人类识别的准确率。而在2016年，谷歌建立的AlphaGo（阿尔法狗围棋机器人）以4：1的比分战胜了国际顶尖围棋高手李世石，之后的AlphaZero又以100：0的比分战胜了AlphaGo，使得深度学习成为了AI的代名词。这一切都标志着以深度学习技术为代表的人工智能时代的到来。