深度学习是目前以及可以预见的将来最为重要也是最有发展前景的一个学科,而深度学习的基础是神经网络,神经网络本质上是一种无须事先确定输入输出之间的映射关系的数学方程,仅通过自身的训练学习某种规则,在给定输入值时得到最接近期望输出值的结果。
作为一种智能信息处理系统,人工神经网络实现其功能的核心是反向传播(Back Propagation, BP)神经网络,如图4-1所示。
反向传播神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络,它的基本思想是梯度下降法,利用梯度搜索技术,以期使网络的实际输出值和期望输出值的误差均方差最小。
图4-1 BP神经网络
本章将从BP神经网络开始讲起,全面介绍其概念、原理及其背后的数学原理。