论文解读 Learning Depth with Convolutional Spatial Propagation Network

泪湿孤枕 提交于 2019-12-23 03:43:19

Learning Depth with Convolutional Spatial Propagation Network

这篇论文里提出的网络是目前KITTI2015排行榜一,作者提出的CSPN既可以用于深度预测也可以用于深度图补全。

本文在Spatial Propagation Networks(SPN)的基础上提出了Convolutional Spatial Propagation Networks(CSPN),相较于SPN,CSPN可以并行计算且效果更好。CSPN和SPN一样,都使用affinity matrix(相似度矩阵)来进行传播的网络,affinity matrix是用来确定空间中两个点相似性的矩阵。

为了将CSPN用于立体匹配(处理4D的CostVolume),作者将CSPN扩展到了3D提出了3D CSPN。受spatial pyramid pooling (SPP)的启发,作者把CSPN和SPP相结合,提出了convolutional spatial pyramid pooling(CSPP)。

1.CSPN将SPN的按线方向的传播过程改为了卷积操作:

image.png

写成向量化的形式如下:

image.png

同时将他扩展到了3D:

image.png

下面的这个图展示了SPN和CSPN以及3D CSPN的区别:

image.png

2.作者提出所谓的spatial pyramid pooling(SPP)其实就是一种CSPN的特例:

给定大小为的特征以及空间大小为的目标池化特征图后,空间池化计算每个分块格网的均值,这就相当于设置核大小为,步长为p和q且设置中的所有值为一致时的单步CSPN。因此可以将SPP使用不同卷积核尺寸和不同步长的CSPN代替:

image.png

作者把这个叫做CSPP,为了强化其效果作者采用了类似于注意力机制的方法,将Affinity Matrix融合到其中提出了Convolutional spatial

pyramid fusion (CSPF):

image.png

下图是CSPN用于深度预测的网络结构图,其基础来自于PSMNet,主要做了两项变动:将其其空间池化模块替换为CSPF,并在多尺度输出之后附加了3DCSPN。

image.png

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!