下载掌阅APP，畅读海量书库
立即打开
1．池化方法
池化是深度学习模型抽象信息的保证，平均池化和最大池化是使用最广泛的两种池化方法，我们在前面对其进行过介绍，就不再赘述。Mixed Pooling [18] 则在平均池化和最大池化中进行随机选择，可提供一定的正则化能力。Stochastic Pooling [19] 也属于一种正则化操作，其对特征图中的元素按照概率值大小随机选择，元素被选中的概率与其数值大小正相关。
以上几种方法都是手动设计池化的方案，基于数据驱动的池化方案也在研究中，针对不同的任务可以学习出最合适的方案。
2．池化机制的理解
我们希望在任务中，目标位置在较小的移动后仍然能得到相同的结果，而池化正好具备这样的特性，因为池化不断地抽象了区域的特征而不关心位置，所以在一定程度上增加了平移不变性。
尽管池化的原理表明它是可以增强平移不变性的，但研究表明，实际上非常深的网络对图像中目标的变化很敏感。DeepMind等最新的研究 [20] 表明，池化方法本身并没有起到太大的作用，使用不同的池化方法和带步长的卷积，最终能取得同样的效果，而其中真正有用的是数据增强操作。