第4章
深度学习的理论基础

深度学习是目前以及可以预见的将来最为重要、最有发展前景的一个学科，而深度学习的基础是神经网络，神经网络本质上是一种无须事先确定输入输出之间映射关系的数学方程，仅通过自身的训练学习某种规则，在给定输入值时得到最接近期望输出值的结果。

作为一种智能信息处理系统，人工神经网络实现其功能的核心是反向传播（Back Propagation, BP）神经网络，如图4-1所示。

图4-1　BP神经网络

BP神经网络（反向传播神经网络）是一种按误差反向传播（简称误差反传）训练的多层前馈网络，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差最小。本章将全面介绍BP神经网络的概念、原理及其背后的数学原理。