图像融合

ORB-SLAM2:一种开源的VSLAM方案 泡泡机器人 泡泡机器人SLAM 2017-07-03 泡泡机器人翻译作品 原文：ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras 作者： Raúl Mur-Artal and Juan D. Tardós 翻译：韩昊旻 审核：郑卓祺 编辑：徐武民 周平 欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权 摘要 ORB-SLAM2是基于单目，双目和RGB-D相机的一套完整的SLAM方案。它能够实现地图重用，回环检测和重新定位的功能。无论是在室内的小型手持设备，还是到工厂环境的无人机和城市里驾驶的汽车，ORB-SLAM2都能够在标准的CPU上进行实时工作。ORB-SLAM2在后端上采用的是基于单目和双目的光束法平差优化（BA）的方式，这个方法允许米制比例尺的轨迹精确度评估。此外，ORB-SLAM2包含一个轻量级的定位模式，该模式能够在允许零点漂移的条件下，利用视觉里程计来追踪未建图的区域并且匹配特征点。 我们用29个广泛使用的公共数据测试的结果显示，在大多数情况下，本文方案比此前方案精度更高，此外，我们开源了ORB-SLAM2源代码，不仅仅是为了整个SLAM领域，同时也希望能够为其他领域研究者提供一套SLAM的解决方案。 I

SIFT/SURF基于灰度图， 一、首先建立图像金字塔，形成三维的图像空间，通过Hessian矩阵获取每一层的局部极大值，然后进行在极值点周围26个点进行NMS，从而得到粗略的特征点，再使用二次插值法得到精确特征点所在的层（尺度），即完成了尺度不变。 二、在特征点选取一个与尺度相应的邻域，求出主方向，其中SIFT采用在一个正方形邻域内统计所有点的梯度方向，找到占80%以上的方向作为主方向；而SURF则选择圆形邻域，并且使用活动扇形的方法求出特征点主方向，以主方向对齐即完成旋转不变。 三、以主方向为轴可以在每个特征点建立坐标，SIFT在特征点选择一块大小与尺度相应的方形区域，分成16块，统计每一块沿着八个方向占的比例，于是特征点形成了128维特征向量，对图像进行归一化则完成强度不变；而SURF分成64块，统计每一块的dx，dy，|dx|，|dy|的累积和，同样形成128维向量，再进行归一化则完成了对比度不变与强度不变。 haar特征也是基于灰度图， 首先通过大量的具有比较明显的haar特征（矩形）的物体图像用模式识别的方法训练出分类器，分类器是个级联的，每级都以大概相同的识别率保留进入下一级的具有物体特征的候选物体，而每一级的子分类器则由许多haar特征构成（由积分图像计算得到，并保存下位置），有水平的、竖直的、倾斜的，并且每个特征带一个阈值和两个分支值，每级子分类器带一个总的阈值

《Weakly-Supervised Convolutional Neural Networks for Multimodal Image Registration》 摘要 ：在多模态图像配准的监督学习中，最基本的挑战之一是体素级空间对应的基值的缺乏。本工作描述了一种从包含在解剖标签中的高级对应信息中推断体素级变换的方法。我们认为，这种标签获取对比体素对应关系是比通过参考图像集更可靠和实用方式。典型的感兴趣的解剖标签可能包括实体器官、血管、导管、结构边界和其他指定的特别标志。提出的端到端卷积神经网络方法旨在训练过程中对单个图像对的多个标记对应结构进行对齐从而预测位移场，而仅使用未标记的图像对作为网络输入进行推理。我们强调了该策略的通用性，使用不同类型的解剖标签用于训练，这些标签不需要在所有训练图像对上可辨别。在推断，得到的三维可形变图像配准算法实时运行，是全自动的，不需要任何解剖标签或初始化。比较了几种网络结构变体，以配准来自前列腺癌患者的T2-weight磁共振图像和3D经直肠超声图像。在交叉验证实验中，来自76名患者的108对多模态图像经过高质量的解剖标签测试，得到的标记中心的目标配准误差中值为3.6 mm，前列腺的Dice中值为0.87。 关键字 ：医学图像配准;图像引导介入;卷积神经网络;弱监督学习;前列腺癌。 1、引言

转载链接： http://blog.csdn.net/zy1034092330/article/details/62044941 参考博客：http://blog.csdn.net/WoPawn/article/details/52223282?locationNum=7 进经过RCNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。 图1 Faster CNN基本结构（来自原论文） 缩进依作者看来，如图1，Faster RCNN其实可以分为4个主要内容： Conv layers。作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。 Region Proposal Networks。RPN网络用于生成region proposals

转自： https://blog.csdn.net/u014380165/article/details/80779432 论文：Relation Networks for Object Detection 论文链接： https://arxiv.org/abs/1711.11575 代码链接： https://github.com/msracver/Relation-Networks-for-Object-Detection 这篇是 CVPR2018的oral 文章，通过引入object relation module来刻画object之间的关系，借助这样的attention来提升object detection的效果。 这篇文章的出发点在于目前大部分的目标检测（object detection）算法都是独立地检测图像中的object，但显然如果模型能学到object之间的关系显然对于检测效果提升会有帮助，因此这篇文章希望在检测过程中可以通过利用图像中object之间的相互关系或者叫图像内容（context）来优化检测效果， 这种关系既包括相对位置关系也包括图像特征关系 。显然，关于object的相对位置关系的利用是一个非常有意思的点，尤其是能够实现相对位置关系的attention非常不易，这也是这篇文章的吸引力。具体做法上借鉴了最近几年火热的attention机制

这段时间一直有各种杂事，现在暂时告一段落，重心要转到毕设上来了，所以写了这么个专栏，关于对论文的一些理解，算是做个阅读笔记吧。由于之前的论文看的七零八落，没有系统的整理过，为了养成良好的习惯，从今天开始不定期更新本专栏，对自己读过的论文力求用最简单的语言表述出来，由于毕设的需求，本系列论文大部分是图像去雾及其相关领域的，小白一枚，还请各位大佬多多指教。 第一篇文章，让我们看一下发表于WACV 2019上的 Gated Context Aggregation Network for Image Dehazing and Deraining，原论文见： https://arxiv.org/abs/1811.08747 ，关于该会议如果大家感兴趣也可以看一下： http://wacv19.wacv.net/ 。 从论文题目可以看出，文章的适用领域是 图像去雾和去雨 ，搭建的网络为“ 门控上下文聚合网络 ”，该网络是基于端到端的，即直接建立模糊图像和清晰图像之间的联系，而不去套用那些先验知识，如经典的 暗通道先验 （DCP）、 颜色衰减先验 （CAP）等； 先看下网络的整体结构图吧，声明一下，以下大部分图片均来自原论文： 如上图所示，该网络由四部分组成，从左到右依次为 编码器 （最左边连续的三个卷积模块）、 平滑扩张残差模块 （中间带有虚线箭头的卷积模块）、 门控融合子网 （图中已标出

PixelNet: Representation of the pixels, by the pixels, and for the pixels. 图1.我们的框架通过对架构（最后一层）和训练过程（历元）的微小修改，将其应用于三个不同的像素预测问题。 请注意，我们的方法为分割（左），表面法线估计（中）和边缘检测（右）的语义边界恢复精细的细节。 Abstract 我们探索了一般像素级预测问题的设计原理，从低级边缘检测到中级表面法线估计到高级语义分割。诸如全卷积网络（FCN）之类的卷积预测因子通过通过卷积处理利用相邻像素的空间冗余而获得了非凡的成功。尽管计算效率高，但我们指出，由于 空间冗余限制了从相邻像素学习的信息 ，因此这些方法在学习过程中在统计上并不是有效的。 我们证明了像素的分层采样可以使（1）在批量更新过程中增加多样性，从而加快学习速度； （2）探索复杂的非线性预测因子，提高准确性； （3）有效地训练最先进的模型tabula rasa（即“从头开始”）以完成各种像素标记任务。 我们的单一体系结构可为PASCAL-Context数据集上的语义分割，NYUDv2深度数据集上的表面法线估计以及BSDS上的边缘检测提供最新结果。 1.Introduction 许多计算机视觉问题可以表述为密集的逐像素预测问题。 其中包括边缘检测[21、64、94]和光流[5、30、86]等低级任务

<div class="markdown-body topic-content-big-font" id="emojify"> <blockquote> 作者：Tetianka Martyniuk 来源：量子位@微信公众号 还有什么能比国际顶会更能反映图像技术的最前沿进展？在这篇文章中，亲历了ECCV 2018的机器学习研究员Tetianka Martyniuk挑选了6篇ECCV 2018接收论文，概述了超分辨率（Super-Resolution, SR）技术的未来发展趋势。 一：学习图像超分辨率，先学习图像退化 论文： To learn image super-resolution, use a GAN to learn how to do image degradation first 为什么超分辨率经常被认为是个相当简单的问题？我曾经说过，因为它能够轻松得到训练数据（只需要降低获取图像的清晰度即可），所以和图像修复任务相比，超分辨率可能显得有些无聊。 但人工生成的低分辨率图像，和真实自然存在的图像一样吗？答案是否定的。和通过双三次插值生成的图像不同，真实世界的低分辨率图像明显属于不同类别。 因此，有人认为用这些人工生成的图像训练GAN并不能生成真实的图像。 为了处理这个问题，这篇论文的作者建议了两步走的方法：首先，用未配对的图像训练一个降低分辨率的GAN

数据集汇总 一、免费大数据存储库的网站 1、深度学习数据集收集网站 http://deeplearning.net/datasets/** 收集大量的各深度学习相关的数据集，但并不是所有开源的数据集都能在上面找到相关信息。 2、Tiny Images Dataset http://horatio.cs.nyu.edu/mit/tiny/data/index.html 包含8000万的32x32图像，CIFAR-10和CIFAR-100便是从中挑选的。 3、CoPhIR http://cophir.isti.cnr.it/whatis.html 雅虎发布的超大Flickr数据集，包含1亿多张图片。 4、MirFlickr1M http://press.liacs.nl/mirflickr/ Flickr数据集中挑选出的100万图像集。 5、SBU captioned photo dataset http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/ Flickr的一个子集，包含100万的图像集。 6、NUS-WIDE http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm Flickr中的27万的图像集。 7、Large-Scale Image Annotation using

文章目录 前言 1. 图示理解 2. 概念详解 2.1 Upsampling(上采样) 2.2 Unpooling(上池化) 2.3 Deconvolution（反卷积） 2.4 FCN(U-net)中的low-level和high-level特征的融合 2.5 上采样/下采样 3.参考文献 前言 在看图像语义分割方面的论文时，发现在网络解码器结构中有的时候使用反卷积、而有的时候使用 unpooling 或或者 unsampling ，查了下资料，发现三者还是有不同的。这里记录一下。 1. 图示理解 使用三张图进行说明： 图(a)表示 UnPooling 的过程，特点是在 Maxpooling 的时候保留最大值的位置信息，之后在 unPooling 阶段使用该信息扩充 Feature Map ，除最大值位置以外，其余补0。与之相对的是图(b)，两者的区别在于 UnSampling 阶段没有使用 MaxPooling 时的位置信息，而是直接将内容复制来扩充 Feature Map 。从图中即可看到两者结果的不同。图©为反卷积的过程，反卷积是卷积的逆过程，又称作转置卷积。最大的区别在于反卷积过程是有参数要进行学习的(类似卷积过程)，理论是反卷积可以实现 UnPooling 和 unSampling ，只要卷积核的参数设置的合理。 反卷积与UnPooling的可视化