dcn

之前介绍过dai老师的DCN v1 Deformable Convolutional Networks解读 ，现在出了V2效果更赞，实验分析也很充分。 分析DCN Spatial Support Visualization Effective receptive fields 理论上现在很多深层网络最后feature上每个位置的视野域都是铺满全图的，但是实际视野域中每个点对响应的不同，有效视野域即为输入扰动后实际能对输出产生影响的区域。比如求conv2上某一位置的有效视野域，那就依次扰动图像观察该位置处的输出变化，看看哪些像素点能对输出产生影响。一般来说输出点对应回去的中心点对输出影响最大。 Effective sampling/bin locations DCNv1中只对采样位置进行了可视化，但是每个采样位置的权重也是不一样的，现在对采样点或者采样的bin的位置和权重都进行了可视化 Error-bounded saliency regions 已经有一些工作做mask掉图片一些区域使最后输出没有变化，在这个基础上我们可以可视化出最小的能给出和原始一样的输出，也即是最小的最有效识别部分 spatial support of nodes in the last layer of the conv5 stage 图中第一行是Effective sampling/bin

Deep&Cross显式地做高阶特征组合。就是说设计几层神经网络结构，每一层代表其不同阶的组合，最下面是二阶组合，再套一层，三阶组合，四阶组合，一层一层往上套，这就叫显式地捕获高阶特征组合，Deep&Cross是最开始做这个的。 Deep & Cross Network 对于低阶的组合特征的构造，线性模型使用人工特征工程，FM使用隐向量的内积，FFM引入field的概念，针对不同的field上使用不同隐向量构造组合特征。DNN可以一定程度上实现自动学习特征组合，学习到的特征都是高度非线性的高阶组合特征，这样的隐式的学习特征组合带来的不可解释性，以及低效率的学习，因为并不是所有的特征组合都是有用的。Deep&Cross Network（DCN）将Wide部分替换为由特殊网络结构实现的Cross，在学习特定阶数组合特征的时候效率非常高， 自动构造有限高阶的交叉特征 ，并学习对应权重，告别了繁琐的人工叉乘。 一个DCN模型从嵌入和堆积层开始，然后是并行的是一个交叉网络和一个与之平行的深度网络，之后是最后的组合层，它结合了两个网络的输出。 嵌入和堆叠层 文中对原始特征做如下处理：1) 对sparse特征进行embedding，对于multi-hot的sparse特征，embedding之后再做一个简单的average pooling；2) 对dense特征归一化