下载掌阅APP，畅读海量书库
立即打开
传统的全连接神经网络是一种有监督的机器学习算法，与同时期的其他机器学习算法相比，它们都需要手动提取特征作为机器学习算法的输入，主要区别仅在于学习特征映射的方法不同。
传统机器学习算法解决问题的思路如图2.1所示。
图2.1 传统机器学习算法解决问题的思路
可以看到，除了输入图和输出结果，整个流程还包括特征提取、分类器两个步骤。
首先需要对输入图进行特征提取，这些特征都是研究人员经过较长时间研究设计出来的特征描述算子。在图像处理领域，常见的特征包括颜色直方图、SIFT特征、Haar特征等。在语音识别领域，常见的特征包括频谱图、MFCC特征等。
由于以上这些特征都是研究人员依靠自身的经验总结的，必然有很多局限性。以图像处理领域为例，研究人员不可能观察待解决问题的所有相关图像样本，也无法对很高维的数据进行理解，且对非常低级的图像像素等特征的理解层次往往也不够，导致设计出来的特征不能表达非常复杂的映射。
在特征本身并没有足够的表征能力时，再强大的分类器也解决不了非常复杂的问题。
以人脸检测为例，人脸包含不同的姿态、光照、遮挡，没有一个特征能够很好地对其进行通用表征，这导致传统的人脸检测和识别算法始终无法突破商业应用的临界点，直到有了深度学习，才有了如今广泛使用的刷脸考勤、支付等应用。
基于研究人员经验，其设计的不够鲁棒的特征，从原理上限制了传统全连接神经网络的表达能力，使其只能解决比较简单的问题。