Learning to Predict Context-adaptive Convolution for Semantic Segmentation

Learning to Predict Context-adaptive Convolution for Semantic Segmentation

2020-04-20 17:41:35

Paper: https://arxiv.org/pdf/2004.08222.pdf 

Code: 

 

1. Background and Motivation: 

本文提出一种新的方法来学习背景信息，以辅助语义分割。不同于常规的 channel attention的思路，本文利用动态卷积核的做法来搞。但是不同于最基本的卷积核方法（即 Dynamic Filter Network），因为这种方法有太多 FC layer，从而导致参数量过大。而是通过一种 matrix multiplication 的方法来得到 kernel parameters。这种 kernel 不但完全编码了输入特征图的全局内容，而且通过 depth-wise convolution 在 输入特征上，对每一个空间位置都产生了 context-aware spatially-varying feature weighting factors。此外，我们利用了一系列的空洞卷积，以及不同空洞率的方法，来有效地捕获多尺寸的信息。

 

 

 

 

 

 

 

 

 

 

 

 

 

本文的主要创新点如下：

1). 为了更好的利用全局场景信息来正则化语义分割，作者提出通过预测 spatially-varying feature weighting factors 的方法来有效地加权不同的特征。从而改善语义分割的性能。

2). 从输入图像的全局场景中，预测 context-adaptive convolutional kernels 来有效地训练神经网络。

3). 在三个数据集上取得了不错的效果。

 

2. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

== 

来源：oschina

链接：https://my.oschina.net/u/4382386/blog/3290469