图像融合

医学图像 医学图像是反映解剖区域内部结构或内部功能的图像，它是由一组图像元素——像素（2D）或立体像素（3D）组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。像素的数量是用来描述某一成像设备下的医学成像的，同时也是描述解剖及其功能细节的一种表达方式。像素所表达的具体数值是由成像设备、成像协议、影像重建以及后期加工所决定的 医学图像有四个关键成分——像素深度、光度表示、元数据和像素数据。这些成分与图像大小和图像分辨率有关 图像深度 （又称比特深度或颜色深度）是用来编码每个像素信息的比特数。比如说，一个8比特的光栅可以有256个从0到255数值不等的图像深度 光度表示 解释了像素数据如何以正确的图像格式（单色或彩色图片）显示。为了说明像素数值中是否存在色彩信息，我们将引入“每像素采样数”的概念。单色图像只有一个“每像素采样”，而且图像中没有色彩信息。图像是依靠由黑到白的灰阶来显示的，灰阶的数目很明显取决于用来储存样本的比特数。在这里，灰阶数与像素深度是一致的。医疗放射图像，比如CT图像和磁共振（MR）图像，是一个灰阶的“光度表示”。而核医学图像，比如正电子发射断层图像（PET）和单光子发射断层图像（SPECT），通常都是以彩色映射或调色板来显示的 元数据 是用于描述图像的信息。它可能看起来会比较奇怪，但是在任何一个文件格式中，除了像素数据之外

原始内容来源于： https://blog.csdn.net/cdknight_happy/article/details/100528127 https://blog.csdn.net/WZZ18191171661/article/details/79494534 包含理解！ 参考文献：https://arxiv.org/abs/1612.03144 代码实现：http://www.yueye.org/2018/faster-rcnn-coupled-with-fpn-in-tensorflow.html https://github.com/DetectionTeamUCAS/FPN_Tensorflow FPN：Feature Pyramid Networks for Object Detection 摘要 特征金字塔是目标识别系统能够进行 多尺度目标识别 的关键组件。但由于特征金字塔的内存占用和计算量很大，因此很多算法都不想使用它。 本文利用深度卷积网络本身固有的多尺度、层次化构建特征金字塔，只带来了很少的额外成本。本文开发了具有横向结构的从上到下的连接，用于在所有尺度上构建高层语义特征 。本文提出的网络叫做 FPN ，在很多应用中可以作为一个 通用的特征提取器 。将FPN和Faster R-CNN结合，我们的模型在不使用任何技巧的情况下

文章目录 解决什么问题 本文创新点 本文IDEA来源 方法 方法概述 Dynamic Zoom In 一句话概括 解决的点 优点 细节 旋转 坐标置信度映射 原理 操作 Masked Coordinates-Confidence Loss 解决的点 操作 Building 2D-3D Correspondences 解决的点 位移 Scale-invariant Translation Estimation 一句话概括 解决的点 训练 数据准备 实验 总结 解决什么问题 一个分离R和T的基于坐标的6D估计方法，能处理纹理缺失和遮挡的问题 本文创新点 提出CDPN 分离R和T的估计 提出Dynamic Zoom In（DZI）让位姿的估计对于检测误差更鲁棒，而且对特定的检测器不敏感 就是说什么样的size都能检测到？ 答：不是，是说即使检测效果不是那么好，通过DZI也能得到一个不错的效果 实时，两阶段目标级别的坐标估计 SITE 尺度不变性的位移估计 不需要预训练就能做多种检测 意思是不是就是说和PVNet不一样，不是每个网络只能训练一个物体？ 答：不是，还是一种权重对应一种物体，至于这个不需要预训练，不知道神恶魔意思 本文IDEA来源 旋转和平移具有明显不同的性质，并 受到不同因素 的影响。 例如，图像中物体的 大小和位置 对旋转的影响很小，但对平移的影响很大。 相反，图像中物体的

最近读了一篇文章《Image-Question-Answer Synergistic Network for Visual Dialog》，下面是我看完文章对文章的一点理解 一、文章摘要 图像，问题（与取消引用的历史记录相结合）以及相应的答案是视觉对话的三个重要组成部分。经典的可视对话系统集成了图像，问题和历史记录，以搜索或生成最佳匹配的答案，因此，这种方法极大地忽略了答案的作用。在本文中，作者设计了一种新颖的图像问题-答案协同网络，以重视答案在精确视觉对话中的作用。将传统的一阶段解决方案扩展为两阶段解决方案。在第一阶段，根据候选答案与图像和问题对的相关性对候选答案进行粗略打分。之后，在第二阶段，通过与图像和问题的协同作用，重新排列具有较高正确性的答案。在 Visual Dialog v1.0 数据集上，所提出的协同网络增强了判别性可视对话模型，以实现 57.88％的标准化折现累计增益的最新水平。配备拟议技术的生成可视对话模型也显示出可喜的改进。 二、文章介绍 视觉对话是计算机视觉与自然语言处理之间交集的新兴研究主题。一个传统的视觉对话如下 可视化对话任务也可以被视为： （i）可视化基础，它将定位的边界框中的可视化信息进一步转换为人类语言； （ii）视觉问答（VQA），其中包括额外的对话历史记录和标题作为输入； （iii）图片说明，它不仅基于视觉信息而且还基于历史和问题生成描述。

全球技术报告 公众号：aihaoers cs方向，今日共计10篇 [检测分类相关]：object detection 【1】基于学习空间融合的单发目标检测 标题 ：基于学习空间融合的单发目标检测 作者 ：Songtao Liu, Di Huang, Yunhong Wang 概要 ：金字塔形特征表示法是解决对象检测中尺度变化挑战的常用方法。但是，对于基于特征金字塔的单发检测器，不同特征尺度之间的不一致是主要限制。在这项工作中，我们提出了一种新颖的数据驱动的金字塔特征融合策略，称为自适应空间特征融合（ASFF）。它学习了在空间上过滤冲突信息以抑制不一致的方法，从而改善了特征的比例不变性，并引入了几乎免费的推理开销。借助ASFF策略和可靠的YOLOv3基线，我们在MS COCO数据集上实现了最佳的速度精度折衷，在60 FPS时报告了38.1％AP，在45 FPS时报告了42.4％AP，在29 FPS时报告了43.9％AP 源码 ：https://github.com/ruinmessi/ASFF 链接 ：https://arxiv.org/pdf/1911.09516v2.pdf 【2】为数不多的射击目标检测与注意力RPN和多关系检测 标题 ：为数不多的射击目标检测与注意力RPN和多关系检测 作者 ：旗幡，华威卓，强志堂，玉永大 概要 ：用于对象检测的常规方法通常需要大量的训练数据

基于深度学习的SR方法 懒得总结，就从一篇综述中选取了一部分基于深度学习的图像超分辨率方法。 原文：基于深度学习的图像超分辨率复原研究进展 作者：孙旭 李晓光 李嘉锋 卓力 北京工业大学信号与信息处理研究室 来源：中国知网 1.基于前馈深度网络的方法 前馈深度网络是典型的深度学习模型之一。网络中各个神经元从输入层开始，接收前一级输入，并输入到下一级, 直至输出层。整个网络中无反馈, 可用一个有向无环图表示。 在深度学习的SR问题中，前馈深度网络能够较好地学习低分辨率图像到高分辨率图像之间的对应关系。在输入层中，它采用卷积的方法提取输入图像的局部特征模式，单向传递给隐含层, 随着隐含层网络层数的加深而学习得到更深层级的特征；最后，由输出层得到重建图像。典型的前馈深度网络包括多层感知器和卷积神经网络（CNN）。 按前馈深度网络的网络类型可以分为以下几类:基于卷积神经网络的方法 (Super resolution using convolution neural network，SRCNN) ;基于极深网络的方法 (Very deep networks for SR，VDSR) ;基于整合先验的卷积神经网络的方法 (SR-CNN with Prior，SRCNN-Pr) ;基于稀疏编码网络的方法(Sparse coding based network，SCN) 和基于卷积稀疏编码的方法

译者：蓝燕子 声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！ 摘要 目标检测和实例分割是计算机视觉的两项基本任务。它们密切相关，但他们之间的关系在以往的大多数工作中还没有得到充分的探讨。本文提出了一种新的用于交互目标检测和实例分割的深度结构RDSNet。为了回应这两个任务，我们设计了一个两个流结构以共同学习对象级别（即边界框）和像素级别（即实例掩码）上的特征。在这个结构中，来自两个流的信息是交替融合，即对象层的信息引入实例意识和翻译差异到像素级，像素级的信息-在对象级别细化对象的定位精度作为回报。具体地说，相关模块和裁剪模块被提议产生实例掩码，以及基于掩模的边界求精模块边界框。通过对COCO数据集的大量实验分析和比较，证明了该方法的有效性以及RDSNet的效率。源代码位于 https://github.com/wangsr126/RDSNet 。 1. 引言 目标检测和实例分割是计算机视觉中两个基本的、密切相关的任务论对象层次上的渐进图像理解像素级别。由于应用了deep神经网络，近年来见证了这两项任务的重大进展。然而，他们的关系但在之前的大部分工作中都进行了充分的探索。因此，通过利用交互来提高这两个任务的性能仍然是有意义和具有挑战性的在对象级和像素级信息之间。 目标检测的目标是用矩形边界框并将其分类为特定类别。在这项任务中，最关键的挑战之一在于对象定位

A Taxonomy of Deep Convolutional Neural Nets for Computer Vision 基本信息 摘要 1. Introduction 2. Introduction to Convolutional Neural Networks 2.1. Building Blocks of CNNs 2.1.1. Why Convolutions? 2.1.2. Max-Pooling 2.1.3. Non-Linearity 2.2. Depth 2.3. Learning Algorithm 2.3.1. Gradient-Based Optimization 2.3.2. Dropout 2.4. Tricks to Increase Performance 2.5. Putting It All Together: AlexNet 2.6. Using Pre-Trained CNNs 2.6.1. Fine-Tuning 2.6.2. CNN Activations as Features 2.7. Improving AlexNet 3. CNN Flavors 3.1. Region-Based CNNs 3.2. Fully Convolutional Networks 3.3. Multi-Modal Networks 3.4.

七 医学图像重建与可视化 二维算法有： 方程联立法，迭代法，二维傅里叶变换法，反投影法 。 三维： 面绘制，体绘制，最大和最小密度投影与三维体绘制，体数据二维重建 。 八 医学图像的配准与融合 1 医学图像的配准技术 　　对几幅不同的图像作定量分析，首先要解决这几幅图像的严格对齐问题，这就是我们所说的图像配准。医学图像的配准是指对于一副医学图像寻求一种空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一直，角度一直，大小一致）。是确定两幅或多幅医学图像像素的空间对应关系。 　　医学图像配准的 基本过程 ： 根据待配准图像（浮动图像）与参考图像（基准图像），提取出图像的特征信息组成特征空间。 根据提取出的特征空间确定出一种空间变换，使待配准图像经过该变换后与参考图像能够达到所定义的相似性测度。 在确定变换的过程中，还需采取一定的搜索策略也就是优化措施以使相似性测度更快更好地达到最优值。 2. 医学图像融合技术 　　医学图像融合是指将两幅（或两幅以上）来自不同成像设备或不同时刻获取的已配准的图像，采用某种算法，把各个图像的优点或互补性有机地结合起来，获得信息量更丰富的新图像的技术。 来源： https://www.cnblogs.com/leileiyiyi/p/5825882.html

在底层视觉算法领域，商汤科技提出的 面向生成更自然真实纹理图像的超分辨率算法 。本文为商汤科技CVPR 2018论文解读第3期。 论文：Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform 作者：Xintao Wang, Ke Yu, Chao Dong, Chen Change Loy 论文链接： https:// arxiv.org/abs/1804.0281 5 Project page: http:// mmlab.ie.cuhk.edu.hk/pr ojects/SFTGAN/ 简介 单帧图像超分辨率旨在基于单张低分辨率图像恢复对应的高分辨率图像。卷积神经网络近年在图像超分辨率任务中表现出了优异的重建效果，但是恢复出自然而真实的纹理依然是超分辨率任务中的一大挑战。 如何恢复出自然而真实的纹理呢？一个有效的方式是考虑语义类别先验，即使用图像中不同区域所属的语义类别作为图像超分辨率的先验条件，比如天空、草地、水、建筑、森林、山、植物等。不同类别下的纹理拥有各自独特的特性，换句话说，语义类别能够更好的约束超分辨中同一低分辨率图存在多个可能解的情况。如图1中展示的建筑和植物的例子，它们的低分辨率图像块非常类似。虽然结合生成对抗式网络（GAN）进行超分复原