下载掌阅APP，畅读海量书库
立即打开
人工神经网络表示一类机器学习的模型，最初是受到了哺乳动物中央神经系统研究的启发。网络由相互连接的分层组织的神经元组成，这些神经元在达到一定条件时就会互相交换信息（专业术语是激发（fire））。最初的研究开始于20世纪50年代后期，当时引入了感知机（Perceptron）模型（更多信息请参考文章《The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain》，作者F. Rosenblatt，Psychological Review，vol. 65，pp. 386～408，1958）。感知机是一个可以实现简单操作的两层网络，并在20世纪60年代后期引入反向传播算法（backpropagation algorithm）后得到进一步扩展，用于高效的多层网络的训练（据以下文章《Backpropagation through Time: What It Does and How to Do It》，作者P. J. Werbos，Proceedings of the IEEE， vol. 78，pp. 1550～1560，1990；《A Fast Learning Algorithm for Deep Belief Nets》，作者G. E. Hinton，S. Osindero，Y. W. Teh，Neural Computing，vol. 18，pp. 1527～1554，2006）。有些研究认为这些技术起源可以追溯到比通常引述的更早的时候（更多信息，请参考文章《Deep Learning in Neural Networks: An Overview》，作者J. Schmidhuber，Neural Networks，vol. 61，pp. 85～117，2015）。直到20世纪80年代，人们才对神经网络进行了大量的学术研究，那时其他更简单的方法正变得更加有用。然后，由于G.Hinton提出的快速学习算法（更多信息，请参考文章《The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting》，作者S. Leven，Neural Networks，vol. 9，1996；《Learning Representations by Backpropagating Errors》，作者D. E. Rumelhart，G. E. Hinton，R. J. Williams，Nature，vol. 323，1986），以及2011年前后引入GPU后使大量数值计算成为可能，开始再度出现了神经网络研究的热潮。
这些进展打开了现代深度学习的大门。深度学习是以一定数量网络层的神经元为标志的神经网络，它可以基于渐进的层级抽象学习相当复杂的模型。几年前，3～5层的网络就是深度的，而现在的深度网络已经是指100～200层。
这种渐进式抽象的学习模型，模仿了历经几百万年演化的人类大脑的视觉模型。人类大脑视觉系统由不同的层组成。我们人眼关联的大脑区域叫作初级视觉皮层V1，它位于大脑后下方。视觉皮层为多数哺乳动物所共有，它承担着感知和区分视觉定位、空间频率以及色彩等方面的基本属性和微小变化的角色。据估计，初级视觉层包含了1亿4000万个神经元，以及100亿个神经元之间的连接。V1层随后和其他视觉皮层V2、V3、V4、V5和V6连接，以进一步处理更复杂的图像信息，并识别更复杂的视觉元素，如形状、面部、动物等。这种分层组织是1亿年间无数次尝试的结果。据估计，人类大脑包含大约160亿个脑皮质神经细胞，其中10%～25%是负责视觉信息处理的（更多信息，请参考文章《The Human Brain in Numbers: A Linearly Scaled-up Primate Brain》，作者 S. Herculano-Houzel，vol. 3，2009)。深度学习就是从人类大脑视觉系统的层次结构中获得了启发，前面的人工神经网络层负责学习图像基本信息，更深的网络层负责学习更复杂的概念。
本书涵盖了神经网络的几个主要方面，并提供了基于Keras和最小有效Python库作为深度学习计算的可运行网络实例编码，后端基于谷歌的TensorFlow或者蒙特利尔大学的Theano框架。
好的，让我们切入正题。
在本章，我们将介绍以下内容：