图像融合

1.通道 意味着我们同过不同的角度来看图像，可以得到不同的图像信息，PS是以灰度图像来表现这种信息的强弱。 我们能看到什么取决于我们的视角。任何灰度图像都可以按照不同的规则来构成彩色图像。 通道除了能存放颜色信息，还能存放选择信息。 2.路径 可以转换为选区，也可以转换为矢量蒙板。与矢量蒙版对应的是点阵蒙版，二者可以搭配使用。 3.透明背景的时候可以用橡皮擦工具 4.注意如果图层是背景图层，要先解锁，然后才能进行选择删除操作 5.按住ctrl+鼠标左键可以快速选定图层，ctrl+j复制图层，按住alt然后再用鼠标拖动也可以复制图层。 6.双击放大镜工具可以将图层恢复到初始的尺寸，双击抓手工具可以将图层按当前工作区的大小铺开，ctrl+shift+I反选选区，图层和蒙版的链接符号表示图层移动时，蒙板也跟着移动，反之没有链接符号，蒙板不随图层移动，按住Alt +滑动鼠标滚轮可以对画布进行缩放, ctrl+r显示/隐藏标尺工具，左键单击标尺拖入图层，可以显示参考线，按住参考线拖入标尺，可以删除参考线，或者从视图菜单中选择清除所有参考线，已将全部参考线清除。 7. 我把画笔渐变图章这一类的工具称为像素工具组，这是最大的一个工具组，而路径钢笔工具等贝塞尔曲线之类的称为路径工具组或者矢量工具组，移动剪切选区这一些算是选择工具组。 8.按alt +图层上的小眼睛，可以只显示当前选中图层。 9

非下采样Contourlet变换(Nonsubsampled contourlet transform,NSCT) 类似小波变换，都是将源图像变换后对系数进行一些处理，再逆变换回目标图像。 NSCT是一种新型平移不变，多尺度，多方向性的快速变换。 NSCT是基于Nonsubsampled金字塔(NSP)和Nonsubsampled方向滤波器(NSDFB)的一种变换。首先由NSP对输入图像进行塔形分解，分解为高通和低通两个部分，然后由NSDFB将高频子带分解为多个方向子带，低频部分继续进行如上分解。 Nonsubsampled Pyramid（NSP）： Nonsubsampled Pyramid（NSP）和Contourlet的Laplacian Pyramid(LP)多尺度分析特性不同。图像通过Nonsubsampled Pyramid（NSP）进行多尺度分解，NSP去除了上采样和下采样，减少了采样在滤波器中的失真，获得了平移不变性。NSP为具有平移不变性滤波结构的NSCT多尺度分析，可以得到与LP分解一样的多尺度分析特性。图2.4(a)处分为3个尺度。 Nonsubsampled方向滤波器（NSDFB） Nonsubsampled方向滤波器(NSDFB)是一个双通道的滤波器，将分布在同方向的奇异点合成NSCT的系数。方向滤波器（DFB）是Bamberger and

单目相机具有成本低，设置简单的优点，但是同样存在尺度不确定、初始化需要足够视差，最终造成尺度漂移、无法处理纯旋转等问题。 ORB-SLAM2为SLAM的发展作出了以下几个贡献： 1.这是第一个同时提供单目，双目和RGB-D接口的SLAM开源系统，并且包含回环检测，重定位和地图重用。 2.通过BA对RBG-D进行优化，效果优于state-of-the-art的ICP或photometric and depth error minimization 3.通过使用近距离和远距离的双目点以及单目观测，使得其双目的精确度要高于state-of-the-art的直接使用双目的SLAM系统 4.通过禁用建图来实现利用已有地图，进行轻量级的定位。 ORB-SLAM2的框架和ORB-SLAM的框架几乎是一模一样的，包含了三个线程：Tracking，Local Mapping和Loop Closing。主要的区别还是在对于双目相机和RBG-D相机前端，是如何进行追踪并构建后端优化问题的。因此与ORB-SLAM相同的部分就不再赘述，详细可参考上一篇关于ORB-SLAM论文的博客。 A.Monocular, Close Stereo and Far Stereo Keypoints ORB-SLAM2是基于特征的SLAM系统，因此当从输入的图像中提取特征之后，图像不需要被保存而是直接丢弃，因此可以说ORB

1、简介   增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。 2、概述   增强现实（Augmented Reality，简称AR），增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。   增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。 3、发展   AR技术的起源

Deep Visual-Semantic Hashing for Cross-Modal Retrieval 用于跨模态检索的深度视觉语义哈希 摘要： 由于哈希算法具有较高的存储和检索效率，在大规模多媒体检索中被广泛应用于近似近邻搜索。跨模态哈希能够有效地检索图像以响应文本查询，反之亦然，近年来受到越来越多的关注。现有的大多数跨模态哈希研究工作都没有捕捉到图像的空间依赖性和文本句子的时间动态，从而学习强大的特征表示和跨模态嵌入，从而缓解了不同模式的异质性。摘要提出了一种新的深度视觉语义哈希(DVSH)模型，该模型在端到端深度学习体系结构中生成图像和句子的紧凑哈希码，捕捉视觉数据与自然语言之间的内在跨模态对应关系。DVSH是一种混合的深度架构，它构成了一个用于学习图像和文本句子的联合嵌入空间的可视化语义融合网络，以及两个用于学习哈希函数以生成紧凑二进制代码的特定于模态的哈希网络。我们的架构有效地统一了联合多模态嵌入和交叉模态哈希，它是基于图像上的卷积神经网络、句子上的递归神经网络和一个结构化的最大裕度目标的新组合，该目标将所有东西集成在一起，从而能够学习保持相似性和高质量的哈希码。大量的经验证据表明，我们的DVSH方法在图像-句子数据集的跨模态检索实验中，即标准的IAPR TC-12和大规模的Microsoft COCO中，得到了最先进的结果。 1.介绍 而海量

1、多源图像-多视角 超分辨率图像复原综述_真印良品_新浪博客 http://blog.sina.com.cn/s/blog_91991d6501018cjr.html 从多幅LR图像中得到HR图像： 信息，这样就不能为HR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像应用中，这种场景运动是能够实现的；对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些HR图像，那么SR图像复原是可以实现的。 多帧超分辨率的概念。左侧的网格表示具有子像素对齐的相同场景的LR图像，因此可以通过将补充信息与SR方法融合来获取HR图像（右侧的网格）。 图像超分辨率：技术，应用和未来 - 简书 https://www.jianshu.com/p/a36a333e8200 2、多来源 多源图像超分辨率重建研究 http://www.wanfangdata.com.cn/details/detail.do?

首先，学习图像处理需要用到Python的两个库，在Pycharm的终端里安装以下两个库： 注意：安装特定版本的库时，在后面用==接要安装的版本号 pip install opencv-python==3.4.1.15 pip install opencv-contrib-python==3.4.1.15 计算机中一个像素点事从0-255表示亮度，255最亮表示白色，0表示黑色。RGB是三维数据矩阵表示一个图片的所有像素点组成。 图像-->500x500x3（3：RGB） 在每个颜色通道上都有1个500x500的矩阵。 一、 数据读取 - 图像 c v2.IMREAD_COLOR:彩色图像 img = cv2.imread(r'.\jay1.jpg') c v2.IMREAD_GRAYSCALE:灰度图像 img = cv2.imread('jay1.jpg',cv2.IMREAD_GRAYSCALE) #图像进行灰度处理，灰度图进行预处理操作 二、 数据读取-视频 cv2.VideoCapture可以捕获摄像头，用数字来控制不同的设备，例如0,1。 如果是视频文件，直接指定好路径即可。 #视频显示 vc = cv2.VideoCapture('test.mp4') #参数是要读取的视频 #检查是否打开正确 if vc.isOpened(): oepn, frame = vc

《A Modified Census Transform Based on the Neighborhood Information for StereoMatching Algorithm》 2013 摘要 Census变换是一种非参数局部变换。它的缺点是结果过于依赖中心像素。提出了一种基于邻域信息的改进的Census变换用于立体匹配。通过改进经典的Census，新技术利用更多的比特来表示像素与其邻域信息之间的差异。修正后的普查变换结果图像在深度不连续处具有更详细的信息。经过立体匹配、亚像素插值和视差细化，可以得到较好的稠密视差图。实验表明，该算法机制简单，鲁棒性强。它可以提高匹配精度，适用于硬件系统。 关键词： 立体匹配；Census变换；邻域信息；深度不连续性 1. Introduction 立体视觉是一种非常有吸引力的传感技术。它产生了一个几乎瞬时的估计距离的物体在一个场景中，并提供了3D信息，使用两个摄像头并行。 它已成功地应用于机器人导航、空间任务和复杂环境下的自动驾驶车辆障碍物检测等领域。立体匹配算法是立体视觉的关键，它解决的是在两个摄像机平面上寻找同一场景点的对应投影的对应问题。 近几十年来，立体匹配因其计算复杂性和实时性要求，在计算机视觉领域得到了广泛的研究。在早期阶段，绝大多数的研究集中在实现高质量的视差图图像。但大多数算法速度较慢，几乎不可能满足实时性的要求

英文原文：https://github.com/zkytony/ROSNavigationGuide/blob/master/main.pdf 背景 能否通过从诸如visual RGB之类的丰富域中借用功能来改进ethermaldomain的检测？本文提出了一种基于自然图像域数据的伪多模目标检测方法，以提高热像中目标检测的性能。我们假设访问visual RGB域中的大型数据集，而访问asiscomonday的thermaldomain中相对较小的数据集（就实例而言）。我们提出了利用已知的图像到图像转换框架来生成给定热图像的seudo-RGB等价物，然后使用多模态结构来检测热图像中的目标。我们表明，我们的框架优于现有的基准，而没有明确的需要从实例中训练。同样表明，我们的框架在使用我们的方法时，能够以较少的数据从热域学习。 介绍 根据最近的死亡事故[29]，具有2级和3级自主权的自动驾驶车辆（lackingthermalimaging）中的电流传感器不足以检测车辆和行人。天黑后，行人尤其面临危险，美国5987名行人死亡事故中，75%发生在2016年[33]。在这种情况下，热传感器表现良好，自主式2级和3级传感器套件技术面临挑战。众所周知，热红外相机对光照变化的鲁棒性相对较高，因此可以在白天和夜间使用。此外，它们成本低、非侵入性强、体积小。因此

文章目录 1. FCN全卷积网络-2014 2. 编解码结构SegNet-2015 3. U-Net分割网络-2015 4. DeepLab v1,v2,v3 -2015,2017,2018 5. 实时分割网络ENet-2016 6. CRFasRNN-空了看看 7. PSPNet-2017 8.Parsenet 9. UNet++ 2018 10. Deepmask 实例分割 2015 11. RefineNet 多分辨率特征融合 -2016 12. LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation 主要图像分割任务的区别： 语义分割：把一定数目不同的类别的图像分割出来，不需要分开多个相同的个体； 实例分割：区分一定数目相同类别的不同个体； 全景分割：区分未知数目相同类别的不同个体。 1. FCN全卷积网络-2014 参考： FCN 特点 ： 输入：整幅图像。输出：空间尺寸与输入图像相同，通道数等于全部类别个数。真值：通道数为1（或2）的分割图像。 池化层P5上采样（反卷积）+P4上采样+P3上采样作为最终的预测具有最好的效果。即把后阶段的特征加到前面的特征图，再更大的尺寸进行预测。（一般分类是下采样到最好层进行加操作，但是这里是上采样