图像深度

近日哈尔滨工业大学、广东工业大学、清华大学与台湾国立清华大学等研究人员共同撰写一篇深度学习在图像去噪上的综述并在arxiv发表，该综述系统地总结图像去噪的重要性、图像去噪技术的发展、传统的机器学习和深度学习的图像去噪技术的优缺点以及刨析出图像去噪技术面对的挑战与潜在的研究点。该综述对学术界和工业界都有重要的指导作用，值得学习。 Deep Learning onImage Denoising: An Overview 论文链接：https://arxiv.org/abs/1912.13171 相关代码链接：https://github.com/hellloxiaotian 1 背景与动机 数字图像设备已经被应用在天气预测、灾难救援、安全监控与医学诊病等多个领域。然而数字设备常受到相机抖动、运动的物体、暗光和噪声等影响而导致捕获的照片不干净。因此图像去噪技术的研究具有重要的理论和实际应用价值。 图像去噪技术在20世纪90年代已经成为研究热点。例如：用非局部相似性来优化稀疏方法能提高去噪的性能。字典学习有助于快速移除噪声[46]。先验知识通过平滑噪声图像来恢复潜在干净图像的细节。更多竞争去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。 虽然这些大部分方法在图像去噪上能达到好的性能，但是他们有以下缺点： (1) 在测试阶段涉及复杂优化方法, (2)

一、MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM A.系统概述 图2显示了我们提出的系统的流程。它由四个部分组成： segmentation, tracking, fusion and raycasting 。每个输入的RGB-D图像都由Mask R-CNN处理以执行实例分割，然后进行几何边缘分割和计算运动残差以优化蒙版边界（第IV-D节）。对于tracking，我们首先根据不包括人类蒙版区域的所有顶点计算相机位姿（第IV-B节），然后从该位姿进行光线投射，以找出哪些物体在当前帧中是可见的。这也可以帮助将局部对象蒙版与现有对象模型相关联。我们评估每个对象的运动残差以确定其是否处于运动状态，然后追踪运动物体（第IV-C节）并根据静态世界（包括当前的静态对象）改进相机的位姿（第IV-B节）。使用相机和物体的估计位姿，将深度和颜色信息以及预测的语义和前景概率融合到物体模型中（第IV-E节）。 IV-F节介绍了可见物体的检测以及射线投射。 B.RGB-D Camera tracking 计算相机位姿分为两步 1.根据除人类外的所有模型的顶点计算相机位姿。 2.根据静态场景计算相机位姿。 通过最小化密集的点到面的ICP残差eg和光度（RGB）残差ep来进行这两个步骤

1.安装环境 conda install pytorch=0.4.1 torchvision=0.2.1 -c pytorch pip install tensorboardX==1.4 conda install opencv=3.3.1 模型 --model_name Training modality Imagenet pretrained? Model resolution KITTI abs. rel. error delta < 1.25 mono_640x192 Mono Yes 640 x 192 0.115 0.877 stereo_640x192 Stereo Yes 640 x 192 0.109 0.864 mono+stereo_640x192 Mono + Stereo Yes 640 x 192 0.106 0.874 mono_1024x320 Mono Yes 1024 x 320 0.115 0.879 stereo_1024x320 Stereo Yes 1024 x 320 0.107 0.874 mono+stereo_1024x320 Mono + Stereo Yes 1024 x 320 0.106 0.876 mono_no_pt_640x192 Mono No 640 x 192 0.132 0.845 stereo_no_pt

深度学习（三）——卷积神经网络 文章目录 深度学习（三）——卷积神经网络 概述 CNN的神经网络层 卷积层 卷积核和卷积操作 零填充和填充卷积 感受野与扩张卷积 池化层 全连接层 转置卷积层 感兴趣区域（RoI）池化层 概述 这篇博文主要讨论 卷积神经网络 （Convolutional Neural Networks，CNN）。CNN是目前最流行的神经网络类型之一，特别是对于图像或是视频这种高维数据。与 多层感知器 不同，CNN层中的每层单元是一个二维（或高维）滤波器，这样的滤波器又被称为 卷积核 ，它能够对输入数据进行卷积运算，这是最关键的区别。 CNN的产生也同样来源于人类对自我认知过程的思考。考虑人类辨识一头大象的过程，人类往往是在看到大象的一部分，才能够辨识出这是大象的。例如看到大象的大耳朵、长鼻子、粗壮的腿等。但在计算机中，图像的每一个像素点都是三个数字。人类辨识图像的过程启示我们在辨识过程中， 单一的像素点是没有意义 的，只有将像素点放在一块区域中，才能显示出它的作用。 因此，利用卷积核，可以将一块区域中的像素值进行一些运算得到一个值，就实现了上面的过程。也因为这个，CNN在计算机视觉领域得到了非常广泛的应用。接下来就依次介绍CNN的各个组成部分和一些模型上的细节。 CNN的神经网络层 CNN是由几个基本构建块组成的，称为 CNN层 。最基本的CNN具备的层次有：

基于CS231N的学习整理： http://cs231n.github.io/convolutional-networks/ 卷积神经网络（CNN）与神经网络相比的优势： 1. 输入的是 图片 2. 减少网络中的参数数量（参数过多导致过拟合） 一。架构概述 Architecture Overview ConvNet将其神经元按照三个维度排列（width、height、depth），每一层都将三维输入转换为激活神经元三维输出。 二。卷积神经网络层 ConvNet Layers 构建卷积神经网络架构有如下三种主要层次：卷积层、池化层、全连接层 卷积过程以及各个层特点： a.输入层 Input Layer：保存原始像素值 b.卷积层 ConV Layer: 每个神经元都计算权重与连接到他们输入值体积的点积并输出。有参数和超参数。 c.线性整流层 ReLu Layer: 不改变体积 f(x)=max(0,x)。无参数，无超参数。 d.池化层 Pool Layer: 沿着空间维度（width、height）进行下采样。无参数，有超参数。 e.全连接层 FC Layer: 计算分类得分。有参数和超参数。 1. 卷积层Convolution Layer 局部连接（Local Connecting） ConV层将神经元与输入图片的局部区域相连接，每个神经元在空间上非常小但是会延申到整个输入的深度

一、深度学习简介 深度学习，英文名称为Deep Learning，是近几年人工智能领域的主要研究方向。深度学习的主要任务是通过构建深度卷积神经网络（Deep Neural Network，DNN）和采用大量样本数据作为输入，人们最终会得到一个具有强大分析能力和识别能力的模型，该模型包含了DNN的构成参数以应用于实际工作。 由于深度学习依赖DNN这样一个参数量庞大且非线性的框架，使得对于它的研究充满了挑战和困难。然而，近几年的研究和应用表明，深度学习已经基本取代了先前相关技术，在图像识别，语音识别已经取得了非凡的突破，但这并不意味着深度学习已经发展成熟，它还需要研究者进一步的理论分析和应用实践。 1.深度学习的历史 谈及深度学习的发展历程，就如同各种理论被人们关注和忽视的历程一样，具有高低起伏。深度学习并不是近几年才提出的，而之所以受到大众熟知也是因为社交媒体的广泛传播才被又一次拉上台面。例如2016年的AlphaGo对战李世石的比赛，在那年甚至之前的年代里围棋一直被认为是机器与人之间算力较量的最后一个跨越，许多人认为李世石稳操胜券，而没想到人工智能最终更胜一筹。 最早的神经网络是1943年提出的MCP人工神经元模型，其在1958年被应用于感知器算法中，用于机器学习分类任务。然而，尽管这样的方法被证明是可收敛的，却因为被结构简单（线性模型），分类认为受限（二分类

VINS-mono详细解读 极品巧克力 前言 Vins-mono是香港科技大学开源的一个VIO算法， https://github.com/HKUST-Aerial-Robotics/VINS-Mono ，是用紧耦合方法实现的，通过单目+IMU恢复出尺度，效果非常棒。 感谢他们开源，我从中学到了非常多的知识。源码总共有15000多行，我在通读完程序之后，结合参考文献，把程序背后的算法理论都推导了一遍，总结成了本文，与各位分享。 本文目标读者：对vins-mono有一定了解的SLAM算法工程师。由于程序里有非常多的实现细节，建议读者在读本文前，先读一遍vins-mono的程序。 1.特征点跟踪 首先用 cv::goodFeaturesToTrack 在第一帧图像上面找最强的150个特征点，非极大值抑制半径为30。新的特征点都有自己的新的对应的id。然后在下一帧过来时，对这些特征点用光流法进行跟踪，在下一帧上找匹配点。然后对前后帧中这些匹配点进行校正。先对特征点进行畸变校正，再投影到以原点为球心，半径为1的球面上，再延伸到深度归一化平面上，获得最终校正后的位置。对于每对匹配点，基于校正后的位置，用F矩阵加ransac来筛选。然后再在匹配上的特征点之外的区域，用 cv::goodFeaturesToTrack 搜索最强的新的特征点，把特征点数量补上150个。 最后，把剩下的这些特征点

1.1 欢迎 深度学习改变了传统的互联网业务，例如网络搜索和广告。但是深度学习同时也使得许多产品和企业以很多方式帮助人们。从获得更好的健康关注：深度学习读取x光图像，到生活中的个性化教育，到精准化农业甚至到驾驶汽车和其他方面。如果你想用深度学习来做这些令人窒息的操作，我（吴老师）将帮助你做到这一点。学完这套课程之后，你将能更加自信的继续深度学习之路。AI让我们在接下来的十年中创造更好的社会和时代。 AI是最新的电力，在几百年前，我们社会的电气化改变了每个行业（医疗，交通等）。AI领域发展最为迅速的就是深度学习了。因此，现在深度学习是广受欢迎的一种技巧。这个课程会帮你获得这种技能。 这门课程中你会学到： 第一门课，神经网络和深度学习，第一部门中将会学习如何建立神经网络，包含一个深度神经网络，以及如何在数据上训练他们。最后，将会用神经网络辨认喵星人。 第二门课，深度学习方面的实践，提升你的深度学习网络。学习构建深度学习网络以及如何让他表现良好。将会学到：超参数调整，正则化，诊断偏差，方差以及一些高级优化算法（如momentum，adam）。 第三门课，将会用2周的时间，学习如何结构化你的机器学习工程，构建机器学习的策略改变了深度学习的错误。举个例子：分割数据的方式，分割为训练集，比较集或改变的验证集以及测试集合，在深度学习中贡献不同，影响很大，应该如何处理呢？如果你听说过

三通道图像在内存中Mat类型的数据组织形式如下： (这张图是偷的，别打我。。。。) 就是一个三维数组，并且是以BGR的顺序，注意不是RBG！！！ 图像类型： CV_8UC1：8位无符号整型单通道矩阵 CV_32FC2：32位浮点型双通道矩阵 通道：表示每个点能存放多少个数，类似于RGB彩色图中的每个像素点有三个值，即三通道的。（C1 C2 C3 C4） 深度：表示每个值由多少位来存储，是一个精度问题，一般图片是8bit（位）的，则深度是8. 来源： https://www.cnblogs.com/helloc14/p/12213992.html

基于深度学习的SR方法 懒得总结，就从一篇综述中选取了一部分基于深度学习的图像超分辨率方法。 原文：基于深度学习的图像超分辨率复原研究进展 作者：孙旭 李晓光 李嘉锋 卓力 北京工业大学信号与信息处理研究室 来源：中国知网 1.基于前馈深度网络的方法 前馈深度网络是典型的深度学习模型之一。网络中各个神经元从输入层开始，接收前一级输入，并输入到下一级, 直至输出层。整个网络中无反馈, 可用一个有向无环图表示。 在深度学习的SR问题中，前馈深度网络能够较好地学习低分辨率图像到高分辨率图像之间的对应关系。在输入层中，它采用卷积的方法提取输入图像的局部特征模式，单向传递给隐含层, 随着隐含层网络层数的加深而学习得到更深层级的特征；最后，由输出层得到重建图像。典型的前馈深度网络包括多层感知器和卷积神经网络（CNN）。 按前馈深度网络的网络类型可以分为以下几类:基于卷积神经网络的方法 (Super resolution using convolution neural network，SRCNN) ;基于极深网络的方法 (Very deep networks for SR，VDSR) ;基于整合先验的卷积神经网络的方法 (SR-CNN with Prior，SRCNN-Pr) ;基于稀疏编码网络的方法(Sparse coding based network，SCN) 和基于卷积稀疏编码的方法