Resnest:注意力+分组卷积的融合

大城市里の小女人 提交于 2020-07-24 11:39:55

ResNeSt是亚马逊的李沐团队的paper,最近在各个任务上刷榜了,但却被ECCV2020

strong reject了,在知乎上也是引起了热议,据李沐说这个网络花了一百万刀!我看完

以后感觉是ResNeXt +  SKNet的组合,训练网络的很多tricks在工程上还是很有意义

的。

讨论:https://www.zhihu.com/question/388637660

 

ResNeXt

         何凯明团队提出,非常的简单:将resnet中3*3的卷积,替换为分组卷积。然后就

没有了。。。。说实话就这个点换我是发不出来paper的,可见讲好故事有多重要。

         论文里增加了一个cardinality(就是group),并讨论了相较于增加网络的宽度

和深度,简单的增加group会更好。一句话就是,split-transform-merge。

 

          网络结构如图

             

        实现就更简洁了  https://github.com/weiaicunzai/pytorch-cifar100/blob/master/models/resnext.py

       C = CARDINALITY #How many groups a feature map was splitted into

        #"""We note that the input/output width of the template is fixed as 
        #256-d (Fig. 3), We note that the input/output width of the template 
        #is fixed as 256-d (Fig. 3), and all widths are dou- bled each time 
        #when the feature map is subsampled (see Table 1)."""
        D = int(DEPTH * out_channels / BASEWIDTH) #number of channels per group
        self.split_transforms = nn.Sequential(
            nn.Conv2d(in_channels, C * D, kernel_size=1, groups=C, bias=False),
            nn.BatchNorm2d(C * D),
            nn.ReLU(inplace=True),
            nn.Conv2d(C * D, C * D, kernel_size=3, stride=stride, groups=C, padding=1, bias=False),
            nn.BatchNorm2d(C * D),
            nn.ReLU(inplace=True),
            nn.Conv2d(C * D, out_channels * 4, kernel_size=1, bias=False),
            nn.BatchNorm2d(out_channels * 4),
        )

 

        为什么如此简单的改变,效果就会好呢?paper里也论证了,其实就是分组卷积带

来的增益,我的理解是分组卷积,提取出了更好的特征,知乎上也有讨论 https://www.zhihu.com/question/323424817

 

SKNet

      SENet的升级版,连名字都是致敬。话说SENet真是个好东西,用过都说好。

      直接上图,可以看出,论文使用了多路分支来做attention。一路为3*3,一路为5*5(其实用的是3*3的空洞卷积来代替),

注意:两路用的都是分组卷积(resnxt的做法)。然后两路直接融合(elementwise),然后一起去做SE,再将attention拆分,

分别去对上面的两路做attention。注意:一起经过softmax后,二者attention相加为1。最后将attention之后的结果再做融合。

      

 

 

 

 

    caffe的网络结构:https://github.com/implus/SKNet/blob/master/models/sknet50.prototxt

    作者在知乎上的文章:https://zhuanlan.zhihu.com/p/59690223      

          

ResNeSt

     终于来到了正主。先来一组对比图。可以看出,各组网络的核心区别,还是在split attention上。

 

 

 

      split attention模块。首先将各分组做融合,然后是SE: GP+FC1+FC2。注意:和sknet一样,这里都是用conv1*1来代替fc,

但是resnest用的是组卷积,然后对组卷积做rsoftmax(按组来做softmax)得到attention,最后去做融合。看到这里,我觉得

确实和sknet很像,作者本人也承认了这点,可以说sknet是resnest的一个特例。

https://www.zhihu.com/question/388637660

 

      

 

 

 

 

 

 核心代码https://github.com/zhanghang1989/ResNeSt/blob/master/resnest/torch/splat.py

 

RegNet

     最后说一说regnet,也是何凯明团体提出,使用的是搜索的网络,对标的是谷歌家的EfficientNet,

搜索的是ResNeXt(搜索包括了group)。网络搜索没做过,就说下几个有意思的结论吧

    1、通过activations(不是激活函数),而不是flops来衡量速度。这也是这篇paper吸引我的地方,

参考https://zhuanlan.zhihu.com/p/122943688

    2、swish在小模型上更好,relu更适合大模型(更多flops)。尤其是使用depthwise conv + swish,

效果比dc+relu更好。

    

实现可参考https://github.com/signatrix/regnet

 

        

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!