下载掌阅APP，畅读海量书库
立即打开
早期研究者对神经网络有很多种不同的叫法，包括：人工神经网络（arti-ficial neural network）、人工神经系统（artificial neural system）、神经网络（neural network）、自适应系统（adaptive system）、自适应网络（adaptive network）、连接模型（connectionism）、神经计算机（neurocomputer）等。这些叫法都是对神经网络的不同侧面的描述。其中，“人工神经网络”强调通过人工来模拟神经网络；“人工神经系统”强调将神经网络视为一个系统；“神经网络”把人工两个字省掉，也是目前使用最为广泛的叫法之一；“自适应系统”和“自适应网络”强调的是网络的自适应性；“连接模型”强调的是神经元与神经元之间的连接关系；“神经计算机”是从计算的角度理解神经网络。这些不同的叫法都是指神经网络，只是从不同的角度对神经网络进行描述。读者可以根据自己的科研实际情况，从不同的角度理解和应用神经网络。
在机器学习和认知科学领域，神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型，被广泛应用于处理非线性关系和进行函数近似，可以通过数学公式来描述。 神经网络是一种通过大量的人工神经元连接进行计算的数学模型或计算模型，它可以通过外部信息来改变内部结构和参数，从而更好地适应所处理的数据。 具体地说，这种改变有两个方面。首先，神经网络的自身结构可能需要改变，一般来说，神经网络设计好后其自身结构不太容易改变，但在一些新兴领域会有此类需求，如自动机器学习，旨在自主学习神经网络的结构。其次，神经网络的内部参数需要根据输入数据来进行调整，这就是神经网络的学习过程。通过学习，神经网络可以逐步提高对输入数据的理解和响应能力，从而实现更准确的输出。神经网络作为一种自适应系统，能够根据外部输入信息进行自我调整，输入信息相当于神经网络的“生存环境”。随着外部环境的变化，神经网络不断地调整自身，以适应新的输入信息。神经网络还可以被看作一种复杂的数学函数，它包含大量参数，这使得它可以拟合不同的数据，同时也具备拟合复杂数据的能力。
如图1.1所示，神经网络细分为多个抽象层，每一层都对输入进行处理和转换。以输入动物图片为例，第一层网络的输入是图片像素，第二层网络提取图片中的边缘信息，并将这些边缘信息进行组合，随后的层会进一步组合边缘信息，形成关于动物的更高级的特征，最后将这些特征组合起来，形成关于动物类型的识别结果。可以看出，神经网络在处理输入信息时，逐渐提取出输入信息中的更高级别的特征，这种层级化的处理方式使得神经网络具有很强的拟合复杂数据的能力。
在这个过程中，每一层神经网络都是对前一层神经网络的输出的进一步抽象和处理，实现了对输入数据的逐层提取和抽象，从而得到更加高层次的特征表示，最终实现了对复杂数据的识别和分类。因此，神经网络的功能可以被理解为对特征的表示和学习，即将输入数据映射到一个高维空间中，并学习不同层次的特征表示，从而实现对数据的有效处理和分析。在深度学习时代，神经网络的层数越来越深，能够实现更加复杂和精细的特征学习和表示，使其在不同领域得到广泛应用。
在神经网络的训练过程中，为了使神经网络能够识别动物图片，需要为其提供大量的实例，包括不同角度、不同时刻的动物图片。通过对这些实例的训练，神经网络可以学习到参数，即连接不同神经元的权值。基于这些参数可以建立数学模型 y = f （ x ），其中输入 x 是动物图片，输出 y 是识别结果，这样就建立起了从输入到输出的映射 f 。
图1.1 神经网络工作过程示例
在具体学习神经网络的各个部分之前，首先介绍神经网络的特点。以下这些特点在后面的章节会有更详细的介绍。
· 神经网络是由相连节点层组成的计算模型 。
当使用神经网络来对函数
y
=
f
（
x
）进行估计时，计算模型实际计算出的函数值为
=
g
（
x
），
为关于
y
的一个估计。神经网络的目标就是设计这样的函数
g
使得在不同的输入
x
下
和
y
之间的误差尽可能小。
· 神经网络的神经元结构与大脑中的神经元结构相似 。
神经网络的设计灵感来源于生物神经元，但是其神经元的构造、信息传递、分层方法以及连接方法并不完全与生物神经元相同。相比之下，人类大脑是通用型的，可以解决多种问题，完成多个领域的任务，例如算术、识别和棋牌等。而当前的人工神经网络大多只专注于单一领域。因此，在本节中，可以简单地将人工神经元理解为一个处理信息的计算单元。
· 神经网络通过数据进行学习 。
当前人工智能的发展正在趋向以数据为中心，多数人工智能的能力取决于外界提供的数据，神经网络也不例外。没有数据，神经网络就无法正常工作。这在某种程度上与人类生活的经验相似：若将人类比作一个强大的神经网络系统，如果缺乏经验并拒绝接收外界信息的输入，就无法学到任何知识。因此，神经网络的构造与训练都离不开数据。只有通过使用数据来对网络进行训练，才能使神经网络学习到知识并完成各种任务。
· 神经网络的行为由其各个元素的连接方式以及这些连接的强度（权值）确定 。
一个神经网络由神经网络的神经元个数、神经元之间的连接方式以及连接强度定义。神经网络的定义一旦确定，其行为或功能也就随之确定。
· 通过学习规则调整权值 。
在神经网络的训练过程中，需要指定一种学习规则。学习规则决定了神经网络如何吸收知识和存储信息。多数神经网络都采用共同的学习规则。通过学习规则，神经网络能够调整自身的权值，进而提高对特定任务的学习和预测能力。
分析
就像人类学习知识的过程一样，有些人倾向于基于理解的学习规则，这种规则帮助他们获得知识的本质。而另一些人则更倾向于基于记忆的学习规则，这种规则虽然无法深刻理解知识点的含义，但记忆相应的知识点同样能够达到应用的效果。因此，不同的人有不同的学习规则，就像神经网络也可以有不同的学习规则一样。然而，就像人类学习一样，神经网络也有一些共同的学习技巧。
在数学形式上，可以将神经网络所代表的数学模型 f （ x ）写成 f θ （ x ）或者 f （ x，θ ）。其中 θ 就是神经网络的参数。对神经网络的学习实际上就是根据学习规则来不断调整 θ ，直到神经网络能够正常执行指定的任务为止。
神经网络的独特性在于其能够通过“学习”的方式解决许多传统算法无法解决的问题。
神经网络是一种高度非线性的动力学系统，其中，动力学系统是指状态可随时间的推移而发生变化的系统，神经网络内部的参数会随着学习的过程而不断改变，可以称之为神经动力学系统。构成神经网络的神经元多数为非线性神经元，在深度学习时代，随着网络层数的加深，神经网络动辄包含几百万乃至上亿的神经元，如此之多的非线性神经元组成的完整系统，同样也是高度非线性的。
神经网络是一个自适应的自组织系统，外界不断地向网络输入数据，而网络会自适应地调整内部的参数，使其呈现出一定的组织性。故称神经网络是一个自组织系统，具有很强的容错性，适应面也很广。
神经网络可以通过大规模并行计算高效地处理大量数据，这使得神经网络成为处理海量数据的有力工具。在高效计算的前提下，神经网络可以是一个十分复杂的函数，它可以通过学习大量数据建立起输入到输出的映射。