PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer

URL

标准卷积：

$H_{c,x,y} = \sum_{k=1}^{C_{in}}\sum_{i=-\frac{K-1}{2}}^{\frac{K-1}{2}}\sum_{j=-\frac{K-1}{2}}^{\frac{K-1}{2}} G_{c,k,i,j}F_{k,x+i,y+j}$

其中，F表示输入feature， $F\in\mathbb{R}^{C_{in}\times H\times W}$ ，G表示kernel， $G\in\mathbb{R}^{C_{out}\times C_{in}\times K\times K}$ ，H表示一个kernel卷积输出 $H\in\mathbb R^{1\times H\times W}$ ，i，j分表表示kernel中的点距离kernel中心在H于W方向上的偏移
空洞卷积：

$H_{c,x,y} = \sum_{k=1}^{C_{in}}\sum_{i=-\frac{K-1}{2}}^{\frac{K-1}{2}}\sum_{j=-\frac{K-1}{2}}^{\frac{K-1}{2}} G_{c,k,i,j}F_{k,x+id,y+jd}$

其中：id表示 偏移 i * 空洞系数 d
PSConv：

$H_{c,x,y} = \sum_{k=1}^{C_{in}}\sum_{i=-\frac{K-1}{2}}^{\frac{K-1}{2}}\sum_{j=-\frac{K-1}{2}}^{\frac{K-1}{2}} G_{c,k,i,j}F_{k,x+iD(c,k),y+jD(c,k)}$

其中：i * D(c, k)表示 偏移 i * 空洞系数 D(c, k)，D是空洞系数矩阵， $D\in\mathbb R^{C_{out}\times C_{in}}$ ，D(i, j) 表示第 i 个 kernel 第 j channel 的空洞系数 d

涨点，替换什么什么就涨点，原因是使用一种类似周期性金字塔kernel的方法，得到了非常有想象力的感受野
虽然不增加参数量与计算量，但是train与inference都会变慢，所以作者附录中给出了一种优化实现方式，是将每个周期的相同相位合并到一起使用group Conv，然后再shuffle index，与ShuffleNet一个意思
优化后确实会变快，可以将PS-ResNet-50/101在inference速度提升到与标准ResNet-50/101基本一致
消融实验对比了只在 $C_{in}$ 或者只在 $C_{out}$ 上周期性变化，发现哪个轴上周期变化都是必要的
当 t = 1时，D中只会包含一种元素，此时PSconv退化为标准空洞卷积
PSConv 可以加入 group 参数，每个 group 内单独周期变化

不增加计算量和参数量，且文章附录中提出经过优化实现可以将PS-ResNet-50/101在inference速度提升到与标准ResNet-50/101基本一致。
如果在硬件设计中，预留了dilated Conv接口，并借鉴文中的优化实现方式，使用分组卷积+index shuffle减小filter通道间dilated不同的问题，这种白送的点也挺香的