卷积神经网络

基于深度学习的SR方法 懒得总结，就从一篇综述中选取了一部分基于深度学习的图像超分辨率方法。 原文：基于深度学习的图像超分辨率复原研究进展 作者：孙旭 李晓光 李嘉锋 卓力 北京工业大学信号与信息处理研究室 来源：中国知网 1.基于前馈深度网络的方法 前馈深度网络是典型的深度学习模型之一。网络中各个神经元从输入层开始，接收前一级输入，并输入到下一级, 直至输出层。整个网络中无反馈, 可用一个有向无环图表示。 在深度学习的SR问题中，前馈深度网络能够较好地学习低分辨率图像到高分辨率图像之间的对应关系。在输入层中，它采用卷积的方法提取输入图像的局部特征模式，单向传递给隐含层, 随着隐含层网络层数的加深而学习得到更深层级的特征；最后，由输出层得到重建图像。典型的前馈深度网络包括多层感知器和卷积神经网络（CNN）。 按前馈深度网络的网络类型可以分为以下几类:基于卷积神经网络的方法 (Super resolution using convolution neural network，SRCNN) ;基于极深网络的方法 (Very deep networks for SR，VDSR) ;基于整合先验的卷积神经网络的方法 (SR-CNN with Prior，SRCNN-Pr) ;基于稀疏编码网络的方法(Sparse coding based network，SCN) 和基于卷积稀疏编码的方法

特征图金字塔网络FPN （Feature Pyramid Networks）是2017年提出的一种网络，FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。 低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式，但是一般是采用融合后的特征做预测，而本文FPN不一样的地方在于预测是在不同特征层独立进行的。 一、各种网络结构对比 1、通常的CNN网络结构如下图所示 上图网络是自底向上卷积，然后使用最后一层特征图进行预测，像SPP-Net，Fast R-CNN，Faster R-CNN就是采用这种方式，即仅采用网络最后一层的特征。 以VGG16为例子，假如feat_stride=16，表示若原图大小是1000 600，经过网络后最深一层的特征图大小是60 40，可理解为特征图上一像素点映射原图中一个16 16的区域；那原图中有一个小于16 16大小的小物体，是不是就会被忽略掉，检测不到了呢？ 所以上图中的网络的缺点就是会造成 检测小物体的性能急剧下降。 2、图片金字塔生成特征金字塔 鉴于上面的单层检测会丢失细节特征；就会想到利用图像的各个尺度进行训练和测试，比如下图所展示，将图像做成不同的scale

卷积神经网络CNN的原理（一）－－－基本概念 什么是卷积神经网络呢？这个的确是比较难搞懂的概念，特别是一听到神经网络，大家脑海中第一个就会想到复杂的生物学，让人不寒而栗，那么复杂啊．卷积神经网络是做什么用的呢？它到底是一个什么东东呢？ 卷积神经网络的灵感源一种生物进程，其中神经元之间的联结模式和动物视觉皮层组织非常相似。所以发明者把它叫做卷积神经网络．只是做了类比，没有生物学知识的同学不要怕，只要有良好的数学基础（这个也不是很容易喔）． 下面看看各方神圣对CNN的概念的定义吧： 科学的说法： 卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。 通俗的说法： 简单说，卷积神经网络是一种类似于人工神经网络的深度学习模型或多层感知机，常用于分析和处理视觉数据。 个人理解： 卷积神经网络是一种能够有效对数据进行分类的神经网络算法，它的特点是简单，高效． 卷积神经网络为什么那么火？它的优点是什么呢？试用场景又是什么呢？ 卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别

MICCAI2019 多模分割相关论文笔记 3D U2-Net: A 3D Universal U-Net for Multi-domain Medical Image Segmentation 探索了一种有前途的通用体系结构，该体系结构可以处理多种医学分割任务，并且可以扩展用于新任务，而无需考虑不同的器官和成像方式。我们的3D通用U-Net（3D U2-Net）建立在可分离的卷积基础上，假设来自不同域的图像具有特定于域的空间相关性，可以使用逐通道卷积进行探测，同时还可以使用逐点卷积来建模跨通道相关性卷积。 介绍 先前的多项工作探索了多任务分割，其中所有感兴趣的器官都出现在同一图像中，作者考虑了一个更现实和更具挑战性的场景：对于给定的数据集，仅扫描人体的局部区域被扫描，并且图像中仅一个或几个解剖结构被标注。 Bilen等认为可能存在跨不同视觉域的通用数据表示。 他们推出了一项名为 “ Visual Decathlon Challenge ”（https://www.robots.ox.ac.uk/∼vgg/decathlon/.）的新竞赛，旨在同时建模十个不同样式和内容的视觉域，例如，互联网图像，手写字符，草图，浮游生物等。他们将这种新主题称为 “multi-domain learning”，其工作仅专注于图像分类

A Taxonomy of Deep Convolutional Neural Nets for Computer Vision 基本信息 摘要 1. Introduction 2. Introduction to Convolutional Neural Networks 2.1. Building Blocks of CNNs 2.1.1. Why Convolutions? 2.1.2. Max-Pooling 2.1.3. Non-Linearity 2.2. Depth 2.3. Learning Algorithm 2.3.1. Gradient-Based Optimization 2.3.2. Dropout 2.4. Tricks to Increase Performance 2.5. Putting It All Together: AlexNet 2.6. Using Pre-Trained CNNs 2.6.1. Fine-Tuning 2.6.2. CNN Activations as Features 2.7. Improving AlexNet 3. CNN Flavors 3.1. Region-Based CNNs 3.2. Fully Convolutional Networks 3.3. Multi-Modal Networks 3.4.

在卷积神经网络中，卷积核大小为1*1的卷积有什么作用呢？ 有两个作用： 1. 改变channel的数量 2. 增加非线性程度 第一个比较好理解，那就是1*1卷积不改变特征图的大小或者尺寸（当然，你也可以改变，通过stride大于1来实现，这时会损失空间信息。还有就是通过加一个pooling层在这个卷积后面）。另外，这里的 改变 是指我们可以增加通道数，也可以减小通道数。 第二个则是很多人可能不了解的作用。我们知道在卷积之后，我们都会做两件事，第一就是激活，第二是归一化。我们的激活一般选择RelU，这是非线性的，这就可以增加特征的非线性程度。而增加非线性程度则是我们通常想做到的。 来源： CSDN 作者： 月下花弄影 链接： https://blog.csdn.net/qq_27261889/article/details/103923734

卷积神经网络cnn中，卷积核大小一般取1、3、5…，其通道数是与输入通道数相等的，卷积核大小加上通道数成为一个卷积核 C i n ∗ s i z e ∗ s i z e C_{in}*size*size C i n ​ ∗ s i z e ∗ s i z e 。卷积核数与输出通道数是相等的，且可以自定义，取决于自己的实验设置。 如果一个卷积核会有三个通道，每个卷积核对三个通道的图片卷积然后相加得到一个feature map(此时为一个二维矩阵)。 有一个动态图展示了其中的运算过程。 原图出处 图中卷积核Fileter的个数与输出通道数Outout是对应的，每一个输出由多通道卷积累加并加上偏执Bias得到，一个卷积核只有一个偏执值。PyTorch框架对卷积运算 Conv2d 的描述亦是如此。 特地以PyTorch代码验证一下动图中的运算。关键函数conv2d()参见 官方文档 import torch import torch . nn . functional as F import numpy input = torch . FloatTensor ( [ [ [ [ 0 , 1 , 1 , 2 , 2 ] , [ 0 , 1 , 1 , 0 , 0 ] , [ 1 , 1 , 0 , 1 , 0 ] , [ 1 , 0 , 1 , 1 , 1 ] , [ 0 , 2 , 0 ,

转载请注明作者和出处： http://blog.csdn.net/john_bh/ 论文链接: PointConv: Deep Convolutional Networks on 3D Point Clouds 作者及团队：Zhengxia Zou & Zhenwei Shi & Yuhong Guo & Jieping Ye 会议及时间： CVPR 2019 code: github:https://github.com/DylanWusee/pointconv 文章目录 Abstract 1.Introduction 1.1. 作者为什么研究这个课题？ 1.2. 目前这个课题的研究进行到了哪一阶段？ 3. PointConv 3.1. Convolution on 3D Point Clouds 3.2. Feature Propagation Using Deconvolution 4. Efficient PointConv 5. Experiments 5.1. Classification on ModelNet40 5.2. ShapeNet Part Segmentation 5.3. Semantic Scene Labeling 5.4. Classification on CIFAR10 6. Ablation Experiments and

原文：Query Intent Detection using Convolutional Neural Networks 主要贡献： 使用卷积神经网络来提取查询向量表示作为查询分类的特征 使用该特征来对查询意图分类 能有效地检测出查询意图，具有较高的查准率和查全率 导言 现代搜索引擎为了满足用户的搜索需求，需深入了解用户的查询,识别查询背后的意图。例如，查询“美国总统”将返回巴拉克奥巴马作为答案，查询“匹兹堡图片”将首先显示图像搜索引擎的结果。 查询意图识别的挑战性：查询通常很短；识别用户意图需更多的上下文而不只是关键字；意图分类的数量非常大。大多数方法都需要大量的人力来为每个意图类定义模式。 本方法是使用深度学习来对查询向量表示，然后将其用作特征来按意图对查询进行分类。 相关工作 两种主流方法来识别查询意图： 基于规则的方法：使用预定义的规则将新查询与其意图匹配，如果能匹配上则一定是精确的，但可能缺少相应规则而覆盖率低，规则需要大量人力来设计 基于统计的方法：监督或非监督学习，在监督方法中需要基于领域知识或特征工程 本文自动生成生成查询向量作为特征，而不需人工设计分类特征。 查询意图识别 本方法 本模型包括两个步骤： 离线时训练模型参数，利用标记了意图的查询样本学习卷积神经网络的参数和分类器 在线时在新查询上运行模型，得到其意图分类结果 在离线训练阶段:

人工智能实验四报告：深度学习算法及应用 文章目录 人工智能实验四报告：深度学习算法及应用 实验目的 实验要求 实验硬件 实验软件 实验内容与步骤 MNIST数据集 具体实现 DNN（深度神经网络） 概述 具体设计 代码实现 结果输出 结果分析 为啥我又用了CNN（卷积神经网络）？ CNN（卷积神经网络） 概述 具体设计 代码实现 结果输出 结果分析 思考题 实验目的 了解深度学习的基本原理 能够使用深度学习开源工具识别图像中的数字 了解图像识别的基本原理 实验要求 解释深度学习原理 对实验性能进行分析 回答思考题 实验硬件 计算机 实验软件 软件：windows操作系统 应用软件：TensorFlow、PyCharm、Python、Google Colab 实验内容与步骤 安装开源深度学习工具设计并实现一个深度学习模型，它能够学习识别图像中的数字序列。使用数据训练它，可以使用人工合成的数据（推荐），或直接使用现实数据。 MNIST数据集 通过下面的代码我们可以对其中的图片有一个大致的把握： import matplotlib . pyplot as plt # 训练集 train_images = mnist . train . images train_labels = mnist . train . labels # 验证集 validation_images = mnist