下载掌阅APP，畅读海量书库
立即打开
人工神经网络 （Artificial Neural Network，ANN）是一种受人类大脑运作方式启发而构建的监督学习算法。神经网络与人类大脑中神经元连接和激活的方式比较类似，神经网络接收输入并通过一个函数传递，导致随后的某些神经元被激活，从而产生输出。
有几种标准的ANN架构。通用近似定理认为，总是可以找到一个足够大的神经网络结构，它具有正确的权重集，可以准确地预测任何给定输入下的任何输出。这就意味着，对于给定的数据集/任务，我们可以创建一个架构，并可以不断调整其权重，直到ANN预测出我们希望它预测的内容为止。调整权重直到这种情况发生的过程称为神经网络训练过程。ANN在大型数据集和自定义架构上能够获得成功的训练，这正是ANN能够在解决各种相关任务中获得突出地位的主要原因。
计算机视觉中一个突出的任务是识别图像中出现的物体的类别。ImageNet是一个识别图像中物体类别的竞赛。分类错误率逐年下降情况如图1-1所示。
图1-1
2012年，使用神经网络（AlexNet）的解决方案赢得了该比赛。正如你从图1-1中看到的那样，从2011年到2012年，通过利用神经网络，错误率显著降低。随着时间的推移，神经网络不断深入和复杂，分类错误也在不断减少，甚至超过了人类的水平。这为我们学习和实现用于解决自定义任务的神经网络提供了坚实的动力。
在本章中，我们将在一个简单的数据集上创建一个非常简单的架构，主要关注ANN的各种构建模块（前向、反向传播、学习率）如何帮助调整神经网络权重，以便该神经网络学习从给定的输入预测出预期的输出。我们将首先从数学上学习什么是神经网络，然后从零开始建立一个坚实的基础，接着将学习负责训练神经网络的每个组件，并对它们进行编码。