《GhostNet: More Features from Cheap Operations》笔记
GhostNet Introduction GhostNet是从模型设计方面精简卷积神经网络模型。 Motivation 卷积神经网络模型得到的特征中有许多特征是冗余的。比如下图是ResNet-50的第一个残差块得到的特征图,红色、绿色和蓝色框的特征图表现出非常高的相似性。同颜色的下一个特征图就像是上一个特征图的 镜像 (ghost)。而这些相似度高的特征图是由不同的卷积核参数计算得到的。作者的想法是,既然这些特征图相似,我们可以通过卷积只得到部分的特征图,再由得到的特征图经过简单的变换得到其他相似的特征图。这样做既可以减少卷积核,减少模型的参数量,也可以减少模型的运算量。 Approach Ghost Module 作者提出的镜像模块是基于卷积操作的。如同上面所说的,作者把原来的卷积层分成两步。第一步是卷积,只是输出的通道数减少了。假设原来的通道数是 n n n ,现在的通道数是 m ( m ≤ n ) m (m \le n) m ( m ≤ n ) ,得到的特征图用 Y ′ Y' Y ′ 表示。 第二步,用 Y ′ Y' Y ′ 生成其他特征图: y i j = Φ i , j ( y i ′ ) , ∀ i = 1 , ⋯ , m , j = 1 , ⋯ , s y_{ij} = \Phi_{i,j}(y'_i), \forall i = 1,\cdots,m, j