购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

3.3.2 AlexNet

AlexNet由多伦多大学的Alex Krizhevsky等人于2012年提出,AlexNet在LeNet的基础上提出了一些创新之处,使得网络的能力更加强大,取得了当年的ImageNet大规模视觉识别竞赛冠军,自此将深度学习模型在ImageNet比赛中的准确率提升至一个全新的高度,也掀起了深度学习的又一次狂潮。

ImageNet是由李飞飞团队创建的一个用于图像识别的大型图像数据库,包含了超过1400万张带标签的图像。自2010年以来,ImageNet每年举办一次图像分类和物体检测的大赛(ImageNet Large Scale Visual Recognition Challenge,ILSVRC),图像分类比赛中有1000个不同类别的图像,每个类别都有300~1000张不同来源的图像。自从该竞赛举办以来,业界便将其视为标准数据集,后续很多优秀的神经网络结构都在比赛中产生。相较于LeNet用于处理的手写数字识别问题,ImageNet图像分类很明显数据量更加庞大,任务难度提升巨大,因此要求神经网络的性能也就更加强大。

图3.15所示为AlexNet的网络结构,包括5个卷积层、3个全连接层、3个池化层、以及2个丢弃(Dropout)层。

相较于LeNet,AlexNet的结构明显变得更加复杂,需要计算的参数量也更加庞大,共有大约65万个神经元以及6千万个参数。

图3.15 AlexNet网络结构

AlexNet相较于之前的网络,有如下创新点:

1)使用了两种数据增强方法:镜像加随机剪裁和改变训练样本RGB通道的强度值。通过使用数据增强方法能够从数据集方面增加多样性,从而增强网络的泛化能力。

2)激活函数使用ReLU函数,相较于sigmoid、tanh等函数,ReLU在梯度下降计算的时候会比它们的速度更快。而且ReLU函数会使部分神经元的输出为0,可以提高网络的稀疏性,并且减少参数之间的相关性,也可以一定程度上减少网络的过拟合。

3)使用局部响应归一化对局部神经元创建竞争机制,使得响应较大的值更大,响应较小的神经元受到抑制,增强模型泛化能力。

4)引入Dropout,对于一层的神经元,按照定义的概率将部分神经元输出置零,即该神经元不参与前向及后向传播,同时也保证输入层与输出层的神经元个数不变。从另一种角度看,由于Dropout是随机置零部分神经元,因此也可以看成是不同模型之间的组合,可以有效地防止模型过拟合。 UztanPAWeHhXe1DEUwUQ5c9HPUwNE12oR5S0xZ4KSFcGm5m8mPAkwXh7BdWUD1EK

点击中间区域
呼出菜单
上一章
目录
下一章
×

打开