下载掌阅APP，畅读海量书库
立即打开
卷积神经网络拥有一些重要的特性，包括稀疏连接、权重共享等，这些是它能够成功的保证。
1．稀疏连接与权重共享
在卷积神经网络中，前后层神经元大部分采用局部连接的方式，且在同一个特征平面中的权重共享。局部连接的思想来自生理学的感受野机制和图像的局部统计特性，而权重共享则使图像局部区域学习到的信息可以应用到其他区域，从而使同样的目标在不同的位置能提取到同样的特征。
稀疏连接和权重共享结构大大降低了卷积神经网络的参数量，下面将其与全连接神经网络进行比较。
按照全连接神经网络的思想，对于1000×1000大小的图像，如果隐藏层也是同样的大小，即有1000×1000个神经元，那么由于神经元和图像的每个像素连接，如果每个连接都需要进行学习，则参数量等于1000×1000×1000×1000，光是这一层网络，就已经有10 12 个参数。而对于卷积神经网络，其某一层的节点只与前一层的一个图像块相连。假如每个神经元只和输入图像10×10的局部区域相连接，且卷积核步长为10，则对于同样的情况，其参数量为1000×1000×10×10，相比之下降低了4个数量级，从而大大减少了模型参数量。
通常来说，卷积神经网络某一层的参数量由输入通道数 N 、输出通道数 M 和卷积核的尺寸 r ，一层连接的参数量等于 N × M × r × r 。
2．能建模图像结构信息
在卷积神经网络中，输入图像的原始结构信息被保留下来，卷积在进行特征提取时通常并不会改变像素的相对空间分布。
对于滤波等任务，相邻像素的作用远远比相隔较远的像素的作用更加重要；而对于颜色变换等操作，不同特征通道同一位置处的像素之间有耦合。可以说，空间关系的保留是卷积神经网络能够提取出鲁棒特征的基础。