resnet

和Faster R-CNN相比，R-FCN具有更深的共享卷积网络层，这样可以获得更加抽象的特征 抽象特征的捕获能否通过“sketch/conceptual...” - guided 来进行？ 想法还是说把逻辑推理和深度学习暴力计算相结合，各自发挥各自的优势~ 4. R-FCN网络的设计动机 Faster R-CNN是首个利用CNN来完成proposals预测的，从此之后很多的目标检测网络都开始使用Faster R-CNN的思想。而Faster R-CNN系列的网络都可以分成2个部分：ROI Pooling之前的共享全卷积网络和ROI Pooling之后的ROI-wise子网络（用来对每个ROI进行特征提出，并进行回归和分类）。第1部分就是直接用普通分类网络的卷积层，用来提取共享特征，然后利用ROI Pooling在最后一层网络形成的feature map上面提取针对各个RoIs的特征向量，然后将所有RoIs的特征向量都交给第2部分来处理（即所谓的分类和回归），而第二部分一般都是一些全连接层，在最后有2个并行的loss函数：softmax和smoothL1，分别用来对每一个RoI进行分类和回归，这样就可以得到每个RoI的真实类别和较为精确的坐标信息啦（x, y, w, h）。 需要注意的是第1部分通常使用的都是像VGG、GoogleNet、ResNet之类的基础分类网络

部分面试题： 1.介绍一下Inception v3和Resnet。 2.什么是BN层，BN层有什么作用？ 3.简介下CNN。 4.说下MaxPooling和AvgPooling。 5.BP数学推导。 地址：https://blog.csdn.net/fendouaini/article/details/79789440 6.说下R-CNN，Fast RCNN，FasterRCNN三者的区别。 7.说下yolov3。 8.画一下Inception v3和Resnet最核心的结构。 9.机器学习和深度学习的区别，各自适用于什么问题。 地址：https://blog.csdn.net/hy13684802853/article/details/79783697 10.卷积神经网络的参数量计算。 地址1：https://blog.csdn.net/dcxhun3/article/details/46878999 地址2：https://blog.csdn.net/qian99/article/details/79008053 来源： https://www.cnblogs.com/kandid/p/10420740.html

LeNet比较经典，就从LeNet开始，其PyTorch实现比较简单，通过LeNet为基础引出下面的VGG-Net和ResNet。 LeNet LeNet比较经典的一张图如下图 LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。 1.INPUT层-输入层 输入图像的尺寸统一归一化为: 32 x 32。 2.C1层 卷积层 输入图片：32 x 32 卷积核大小：5 x 5 卷积核种类：6 输出featuremap大小：28 x 28 （32-5+1）=28 神经元数量：28 x 28 x 6 可训练参数：（5 x 5+1) x 6（每个滤波器5 x 5=25个unit参数和一个bias参数，一共6个滤波器） 连接数：（5 x 5+1） x 6 x 28 x 28=122304 3.S2层 池化层（下采样层） 输入：28 x 28 采样区域：2 x 2 采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid 采样种类：6 输出featureMap大小：14 x14（28/2） 神经元数量：14 x 14 x 6 可训练参数：2 x 6（和的权+偏置） 连接数：（2 x 2+1） x 6 x 14 x 14

【静态经验】 1. ResNet-50 3D，#param大约30+M， kinetics-400，dropout使用0.2，weight decay使用5e-4，momentum 0.9。 2. ResNet-23 2D，#param大约11M， kinetics-400，dropout使用0.5，weight decay使用1e-4， momentum0.9。 【Learning Rate】 与step调整lr相比， 使用退火方式，使得训练过程更加顺滑，同时能够收敛到比较好的结果，同时更加稳定。 【Batch Size】 BN对batch size敏感，如果使用bn，则更大的batch size有利于bn更好拟合样本总体分布。 【Weight Decay】 根据目前的经验，wd和网络参数量、训练数据量有关。数据量差不多时，大网络使用大的weight decay（ResNet-50 3D，#param大约30M， kinetics-400， wd使用5e-4），小网络使用小的wd（ResNet-23 2D，#param大约11M， kinetics-400， wd使用1e-4）。 【Dropout】 根据目前的经验，小网络的do应该大，大网络的do应该小。例如 ResNet-50 3D，#param大约30M， kinetics-400，do使用0.2； ResNet-23 2D

让我们先思考一个问题:对神经网络模型添加新的层，充分训练后的模型是否只可能更有效地降低训练误差?理论上，原模型解的空间只是新模型解的空间的子空间。也就是说，如果我们能将新添加的层训练成恒等映射f(x) =x,新模型和原模型将同样有效。由于新模型可能得出更优的解来拟合训练数据集，因此添加层似乎更容易降低训练误差。然⽽在实践中，添加过多的层后训练误差往往不降反升。即使利用批量归⼀化带来的数值稳定性使训练深层模型更加容易，该问题仍然存在。针对这一问题，何恺 明等⼈提出了残差网络(ResNet) 。它在2015年的ImageNet图像识别挑战赛夺魁，并深刻影响了后来的深度神经网络的设计。 目录 1. 残差块 2. ResNet模型 3. 获取数据和训练模型 4. 小结 1. 残差块 让我们聚焦于神经⽹络局部。如下图所示，设输入为x。假设我们希望学出的理想映射为f(x),从⽽作为下图上方激活函数的输入。左图虚线框中的部分需要直接拟合出该映射f(x),⽽右图虚线框中的部分则需要拟合出有关恒等映射的残差映射f(x)-x.残差映射在实际中往往更容易优化。以本节开头提到的恒等映射作为我们希望学出的理想映射f(x).我们只需将下图中右图虚线框内上方的加权运算(如仿射)的权􏰀重和偏差参数学成0，那么f(x)即为恒等映射。实际中，当理想映射f(x)极接近于恒等映射时，残差映射也易于捕捉恒等映射的细微波动