2.3 神经网络

人工神经网络无疑又到了春天，计算机视觉技术的突破、自然语言处理的进展、语音识别等都得益于人工神经网络的快速发展，本节主要介绍神经网络的生物学原理及人工神经网络的工作流程。

2.3.1 神经网络的生物学发现与编程模拟

亚里士多德曾说：“在宇宙中人就相当于一粒沙子，但比沙子还小的人脑却在思考整个宇宙。”人类对大脑的认识还非常肤浅，现代人类的大脑与1万年前人类的大脑没有太大的区别，而人类在120万年前褪去了体毛，在17万年前才学会穿衣服。而到目前为止，人类对大脑潜能的开发还处于初级阶段，爱因斯坦大脑的开发量也仅仅达到了10%，所以说“少年，你还有机会”。

现代神经科学研究表明，在人类和老鼠等其他哺乳动物的大脑中，数据的传输和处理都是通过突触与神经元之间的交互完成的。重要的是，数据的传输和处理是同步进行的，并不存在先传输后处理的顺序。在同样的时间和空间上，哺乳动物的大脑能够在分布式神经系统上交换和处理信息，这绝对是计算机难以望其项背的。

此外，人的记忆过程也不仅仅是数据存储的过程，还伴随着去粗取精的提炼与整合。记忆的过程在某种意义上更是忘记的过程，是保留精华去除糟粕的过程。一个聪明人也许会忘记知识中的大量细节，但一定会记住细节背后的规律。碳基大脑的容量恐怕永远也无法和硅基硬盘相比，但是其对数据的使用效率同样是硅基硬盘难以企及的。

1.了解人类大脑的基本成分

阿兰·图灵将人脑外观形象地比喻成一坨“凉粥”，而这坨“凉粥”让我们有喜、怒、哀、乐、悲、欢、离、愁，让我们品尝酸、甜、苦、辣，体验人生百态，让我们研究科学、探索奥秘。正是这一坨“凉粥”，让我们产生无与伦比的智慧，研究高深莫测的哲学，探索宇宙的真谛。但正是因为智慧产生于这一坨“凉粥”，所以有人提出了相反的看法，认为万物皆空，太阳独占太阳系质量的99.8%，而原子核占整个原子质量的99.6%，原子核和电子、太阳和其他行星之间绝大部分都是空的，相同的结构无尽循环，这是巧合吗？这个问题留给你的那一坨“凉粥”思考。

现代解剖学发现，大脑的核心功能组织是大脑皮层，大脑皮层分为左、右两个半脑，两个半脑的基本材料都是神经元细胞，由细胞体和突触组成，神经信息可以通过突触传递给下一个神经元细胞。一个成年人的大脑皮层中神经元数量为百亿数量级到千亿数量级。大脑的神经网络结构如图2.14所示，由树突、细胞核和轴突等组成。

神经科学家对神经元进行电刺激实验，发现神经元有两种状态，即静默态和激活态。当神经元被激活时，电压升高，静默时电压恢复平稳，如图2.15所示。当其他神经元传入的信号满足特定条件时，神经元会从静默态进入激活态，从而改变对外输出的生物电压，释放频率信号，并将这个信号通过突触传递给下游的神经元。

神经元可以通过生物电压改变相连接的突触的生物特性，而这种改变会像水波一样，在特定的神经区域传播。目前，科学家也是通过某种刺激来记录大脑活跃区域的，从而判断各个脑区的功能。下面模拟电刺激，通过指定程序的输入参数模拟“听”和“闻”信号，并进行相应的逻辑处理。

输出结果如下。

输出结果如下。

如果将视觉信号传递给处理嗅觉的神经元，那么输出结果为“闻：什么都没有闻到”。在生物神经元中，不同的神经元有不同的分工，嗅觉神经元不能处理输入的视觉信号。但也有例外情况，科学家发现，头脑皮层可以通过训练而被替换，通过观察大量大脑受到损伤的病人发现，虽然他们的大脑的局部遭到了破坏，但是其他脑区却变得更加强大和活跃。

2.那坨“凉粥”也分不同的区

正如前面提到的，大脑在组织结构上有明确的功能划分，如额叶区主要负责精神功能、枕叶区主要负责视觉功能、顶叶区主要负责体觉功能等。大脑功能区划分如图2.16所示。那坨“凉粥”分工明确，这也是大脑为什么如此高效的原因，那些大脑混乱的人都去了哪里，他们过得如何？（提示：精神病人和癫痫病患者）

生物学家通过核磁共振等手段发现，大脑皮层不同的位置区域具有不同的功能，虽然个体与个体之间存在小的差异，但是大体上的分布是一致的。大多数人的左脑掌管语言、意念、逻辑、理性，而右脑负责形象化思维和情感。这些结论给我们的启发如下：相同的神经元按区域组成了不同功能的模块，下面用代码构造出嗅觉皮层和听觉皮层。

输出结果如下。

3.“凉粥”产生算法

相同的神经元在不同的脑区中能完成不同的任务，这是因为不同功能的神经元细胞对于同样的输入信号会产生不同的响应，而这些响应被视为不同脑区功能不同的原因，被视为不同的函数算法，不同脑区的响应对应不同的电波输出，如图2.17所示。

研究发现，特定脑区产生的响应函数，除了一些干扰信息，相同功能的神经元对刺激的响应基本上是一致的，而且不同的皮层区域具有不同的响应函数。相同皮层形成的智能是由该皮层中所有神经元响应函数投票产生的结果。下面用代码模拟皮层中一群相同响应的神经元投票决定的输出信号。

输出结果如下。

4.“凉粥”的可替换性

不同的大脑皮层会产生不同的决策，从而处理响应的感官输入。但是对于整个大脑，所有脑区都是由神经细胞组成的，为什么听觉皮层神经元的响应和嗅觉皮层神经元的响应不同？嗅觉皮层是否可以处理听觉皮层接收的信号？

为此，科学家进行了一系列的实验，最著名的莫过于把小白鼠的听觉中心的神经元和耳朵的通路剪短，并将视觉通路接到听觉中心上进行观察，如图2.18所示。结果发现，几个月之后小白鼠居然可以通过听觉中心处理视觉信号。

通过这个实验科学家得出一个结论：小白鼠的听觉皮层和视觉皮层其实并没有任何生理结构上的差异，在视觉信号下训练一段时间，听觉皮层也可以变成视觉皮层。

这个实验对我们的启发是，不同神经元细胞的响应函数是通过不同的数据训练演变而成的，不同的演变形成不同功能的皮层组织。从这个角度看，我们可以将大脑的各个脑区看作由神经元组成的学习模型，这些模型在持续的信息刺激下，不断地更新和学习，最终形成一个个功能独立的小单元，而我们的大脑就是由这些小单元组成的。

下面在程序中模拟神经元的可变性，假设每个神经元有5%的概率理解当前输入的信号。

输出结果如下。

经过多轮训练之后，嗅觉皮层领略到了如何“听”。在这些简单的、海量的神经细胞上，经过不断地迭代和学习，就会产生智慧。

2.3.2 人工神经网络的核心思想

人工神经网络的灵感来自生物神经网络的研究，以简单并且重复的方式构建复杂的模型结构，正如史蒂芬·乔布斯所说：“创新就是把各种事物整合到一起。”人工神经网络就是将这些简单的神经元结构组合到一起，创造出传统模型无法匹敌的辉煌成就，正是这些成就使2019年的图灵奖授予3位深度学习之父，即Geoffrey Hinton、Yann LeCun和Yoshua Bengio。

距地球上第一个有机生命体的出现已经过去差不多30亿年，经过自然环境长时间的选择，那些携带低效、不能及时适应自然的神经元的生物逐渐退出历史舞台，现今留下来的生物，其神经元必定是高效的、适应性极强的。截至目前，虽然生物学家没有彻底破解生物神经中的奥秘，但是已经掌握了一些技巧，在工程上能够对神经元的工作原理及过程进行模拟。比较简单的人工神经元模型如图2.19所示，它拥有输入数据、激活函数及输出值，是对生物神经网络的模拟。神经网络的主要工作是建立模型和确定权值，一般有前向型和反馈型两种网络结构。通常，神经网络的学习和训练需要一组输入数据与输出数据对，选择网络模型和传递、训练函数后，使用神经网络计算得到输出结果，根据实际输出和期望输出之间的误差进行权值的修正，在网络进行判断时只有输入数据而没有预期的输出结果。神经网络一个相当重要的能力是其网络能通过其神经元权值和阈值的不断调整从环境中进行学习，直到网络的输出误差达到预期的结果。