参数量,泛指模型中可以训练与不能训练的所有参数的数量。例如,AlexNet模型包含了约60MB参数,如果使用32bit浮点数进行存储,则实际占用的存储空间为240MB。
对于一个正常的卷积层,假如输入特征图大小为 H in × W in ,通道数为 C in ,输出特征图大小为 H out × W out ,通道数为 C out ,卷积核大小为 K × K ,则参数量为 C out × C in × K × K 。
参数量小,则占用内存小,移动端使用的模型对参数量大小比较敏感。可以使用一些工具来统计模型的参数量,这里以PyTorch summary工具为例。它不仅可以统计模型的参数量,还可以统计输入数据及模型在前向运行过程中需要的参数量,使用方法如下。
表2.1是simpleconv3模型参数量统计结果。
表2.1 simpleconv3模型参数量统计结果