天猫商城商品来源南通seo网站优化软件

一、参考资料

神经网络参数量、计算量（FLOPS）、内存访问量（MAC）计算详解
5种方法获取Torch网络模型参数量计算量等信息

二、参数量与计算量相关介绍

1. 为什么要统计模型参数量和计算量

• 好的网络模型不仅要求精度准，还要要求模型的参数量和计算量不大，才能有利于部署
• 统计模型的参数量和计算量可以用于不同网络模型之间的对比分析
• 有的模型虽然参数量相同，但是可能因为连接方式和结构等不同而导致计算量不同

2. 计算量与参数量的概念

• 计算量是指网络模型需要计算的运算次数，参数量是指网络模型自带的参数数量多少；
• 计算量对应时间复杂度，参数量对应于空间复杂度；
• 计算量决定了网络执行时间的长短，参数量决定了占用显存的大小。

3. 卷积层

3.1 参数量

对于卷积层来说，参数量就是卷积核里所有参数的数量。

假设，每个卷积核的尺寸是$D_K\ast D_K\ast M$，一共有N个卷积核，所以标准卷积的参数量为：

如果考虑bias偏置项，则参数量为：$D_K\ast D_K\ast M\ast N+N$

如果不考虑bias偏置项，则参数量为：$D_K\ast D_K\ast M\ast N$

3.2 计算量

对于卷积层来说，我们得到的特征图都是进行一系列的乘加运算得到的。

假设，每个卷积核的尺寸是$D_K\ast D_K\ast M$，一共有N个卷积核，输出的特征图尺寸是$D_F\ast D_F$。

一次卷积乘法运算次数为：$D_K\ast D_K\ast M$

一次卷积加法运算次数为：$D_K\ast D_K\ast M-1(27个数相加，做26次加法运算)$

一共进行 $D_F\ast D_F\ast N次卷积运算(输出featuremap大小为D_F\ast D_F\ast N)$

乘加运算总次数：$(2\ast D_K\ast D_K\ast M-1)\ast (D_F\ast D_F\ast N)$

通常，标准卷积的计算量只考虑乘法运算：$D_K\ast D_K\ast M\ast N\ast D_F\ast D_F$。

3.3 内存访问量MAC

输入：$D_K\ast D_K\ast M$

输出：$D_F\ast D_F\ast N$

权重：$D_K\ast D_K\ast M\ast N$

那么，上述三项之和为MAC：$D_K\ast D_K\ast M+D_F\ast D_F\ast N+D_K\ast D_K\ast M\ast N$

4. 全连接层

4.1 参数量

假设，输入 $C_i$ 个神经元，输出 $C_o$ 个神经元。

如果考虑bias偏置项，则参数量为：$C_i\ast C_o+C_o$

如果不考虑bias偏置项，则参数量为：$C_i\ast C_o$

4.2 计算量

假设，输入 $C_i$ 个神经元，输出 $C_o$ 个神经元。

一个神经元乘法运算次数为：$C_i$

一个神经元加法运算次数为：$C_o$

乘加运算总次数为：$(2\ast C_i-1)\ast C_o$

4.3 内存访问量MAC

输入：$C_i$

输出：$C_o$

权重：$C_i\ast C_o$

那么，上述三项之和为MAC：$C_i+C_o+C_i\ast C_o$

BN层

参数量：KaTeX parse error: Undefined control sequence: \quat at position 7: 2*C_i \̲q̲u̲a̲t̲ ̲\textcolor{red}…