图像深度

博客转载自：http://www.pclcn.org/study/shownews.php?lang=cn&id=206 本小节中一起学习如何从深度图像中提取边界（从前景跨越到背景的位置定义为边界）。我们对三种类型的点集感兴趣： 物体边界 ，这是物体最外层和阴影边界的可见点集； 阴影边界 ，毗连于遮挡的背景上的点集； Veil点集 ，在被遮挡物边界和阴影边界之间的内插点，它们是由激光雷达获取的 3D距离数据中的典型数据类型。这三类数据及深度图像的边界如图 1所示。 代码 首先，在PCL（Point Cloud Learning）中国协助发行的书提供光盘的第9章例2文件夹中，打开名为range_image_border_extraction.cpp的代码文件，同文件夹下有测试点云文件。 解释说明 首先，我们进行命令行解析，然后，从磁盘中读取点云（或者如果没有提供，则创建一个点云），最后，创建深度图像并使其可视化。提取边界信息时很重要的一点是区分深度图像中的当前视点不可见点集合和应该可见但处于传感器获取距离范围外的点集，后者可以标记为典型边界，然而当前视点不可见点则不能成为边界。因此，如果后者的测量值存在，则提供那些超出传感器距离获取范围外的数据对于边界提取是非常有用的，我们希望找到另外的包含这些值的pcd文件，这里代码中用far_range.pcd作为这类数据的实例。 std:

博客转载自：http://www.pclcn.org/study/shownews.php?lang=cn&id=155 本小节讲解如何可视化深度图像的两种方法，在 3D 视窗中以点云形式进行可视化（深度图像来源于点云），另一种是，将深度值映射为颜色，从而以彩色图像方式可视化深度图像。 代码 首先，在 PCL （ Point Cloud Learning ）中国协助发行的书提供光盘的第 7 章例 2 文件夹中，打开名为 range_image_visualization.cpp 的代码文件，同文件夹下可以找到相关的测试点云文件 room_scan1.pcd 。 解释说明 首先，解析命令行并从磁盘上读取点云（如果没有点云文件，自行创建一个），并构造深度图像。 pcl::visualization::PCLVisualizer viewer ("3D Viewer"); //定义初始化可视化对象 viewer.setBackgroundColor (1, 1, 1); //设置背景为白色 pcl::visualization::PointCloudColorHandlerCustom<pcl::PointWithRange> range_image_color_handler (range_image_ptr, 0, 0, 0); //设置自定义颜色 viewer

ORB-SLAM2:一种开源的VSLAM方案 泡泡机器人 泡泡机器人SLAM 2017-07-03 泡泡机器人翻译作品 原文：ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras 作者： Raúl Mur-Artal and Juan D. Tardós 翻译：韩昊旻 审核：郑卓祺 编辑：徐武民 周平 欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权 摘要 ORB-SLAM2是基于单目，双目和RGB-D相机的一套完整的SLAM方案。它能够实现地图重用，回环检测和重新定位的功能。无论是在室内的小型手持设备，还是到工厂环境的无人机和城市里驾驶的汽车，ORB-SLAM2都能够在标准的CPU上进行实时工作。ORB-SLAM2在后端上采用的是基于单目和双目的光束法平差优化（BA）的方式，这个方法允许米制比例尺的轨迹精确度评估。此外，ORB-SLAM2包含一个轻量级的定位模式，该模式能够在允许零点漂移的条件下，利用视觉里程计来追踪未建图的区域并且匹配特征点。 我们用29个广泛使用的公共数据测试的结果显示，在大多数情况下，本文方案比此前方案精度更高，此外，我们开源了ORB-SLAM2源代码，不仅仅是为了整个SLAM领域，同时也希望能够为其他领域研究者提供一套SLAM的解决方案。 I

课时26 图像分割与注意力模型（上） 语义分割： 我们有输入图像和固定的几个图像分类，任务是我们想要输入一个图像，然后我们要标记每个像素所属的标签为固定数据类中的一个 使用卷积神经，网络为每个小区块进行分类，对在区块的中间打上标签，对图像的全部区块分类完毕，我们就可以得到每个像素所对应的标签，这个操作实际上非常耗时，因为一张图片将会被分割非常多的小块。 如果这些神经网络具有相关的结构，通过这个图像金字塔方法的话，这些图像的输出将会有不同的感受野。 语义分割的迭代精化 我们有一个输入图像，他们被分割成三个通道，我们把输出从卷积神经网络中拿出来，同时把对应的下采样版本的图像拿出来。然后我们再重复这一过程，所以这个过程，其实是有点增加输出有效的感受野，同时也对输入图像有更多的处理。 即时分割或者实时检测和分割： 我们有一些分类需要去识别，给定一张图像需要输出对应图像的不同分类实例，而分实例我们也需要分割到具体每个像素是属于哪个实例。 实例分割 我们给他一副输入图像，CNN还要依赖于外部的候选区域，就是计算机视觉中低层次信息得离线处理操作，预测物体在图像中的具体的位置。每个分割候选我们可以抽取出一个bounding box，来提取边界框裁剪输入图像，喂给卷积神经网络去抽取特征，同时并行的执行RCNN，再一次我们拿到相应的块图像，进行裁剪，但这里我们实际上有候选的分割

概念 神经网络的深度和数据据体的深度(图像的通道数channels)要主要区分。 输入 1.得到一些数据，作为网络的输入。 2.在CNN中有filter，the size of filter is small。如上的filter为5*5，深度为3，这个3要在深度上穿过 输入数据的每一个位置，输入数据是三个通道； 3.filter 要完全覆盖输入数据的全部深度，用filter来和输入图像做卷积运算。 filter要在整个图像的空域范围内全部位置滑动，每一个位置filter和图像做点乘。这个filter是要学习的用W表示，我们也要学习这些filter，可以把filter看作是你的一堆W，然后在图像范围内滑动这个filter。 as folllows: $w^{T}x + b$ where w denotes the filter and x denotes the patch of input image, 大小是5*5*3的小区域。 激活图给出了每个空间位置出滤波器的反应，将5*5的filter在32*32的输入数据上滑动，得到了28*28的激活图。 hei = 32; wid = 32; stride = 1; count = 0; step1 = 0; step2 = 0; pathchSize = 5; for x = 1 + step1: stride : hei -

文章目录 导读 摘要 引言 相关工作 对称填充 实验 讨论 总结 导读 我们都习惯使用3*3的卷积核，这篇文章介绍了 偶数卷积核 其实表现更强 。 首先附上文章地址： Convolution with even-sized kernels and symmetric padding 【PDF】 摘要 紧凑型卷积神经网络主要通过深度卷积，扩展的通道和复杂的拓扑来提高效率，这反过来又加剧了训练过程。 此外，在这些模型中， 3×3内核占主导地位 ，而偶数大小的内核（2×2、4×4）很少被采用。 在这项工作中，我们通过信息侵蚀假设来量化偶数大小的核卷积中发生的偏移问题，并通过在特征图的四个侧面（C2sp，C4sp）提出对称填充来消除它。 对称填充以很少的计算成本释放了偶数大小的内核的泛化能力，使其在图像分类和生成任务方面优于3×3内核。此外，C2sp获得了与新兴紧凑型模型相当的精度，而训练期间的内存和时间消耗却少得多。 对称填充和偶数卷积可以很好地实现到现有框架中，为体系结构设计提供有效的元素，尤其是在强调训练工作的在线和持续学习场合。 引言 深度卷积神经网络（CNN）在许多计算机视觉任务中都取得了重大成功，例如图像分类[37]，语义分割[43]，图像生成[8]和游戏[29]。 除了特定领域的应用程序之外，还设计了各种体系结构来提高CNN的性能[3,12,15]

VGG Image Annotator (VIA)是一款开源的图像标注工具，由Visual Geometry Group开发。 可以在线和离线使用，可标注矩形、圆、椭圆、多边形、点和线。标注完成后，可以导出为csv和json文件格式。 地址：http://www.robots.ox.ac.uk/~vgg/software/via/。 中文使用教程： 原文：https://blog.csdn.net/heiheiya/article/details/81530952 Mask_RCNN训练自己的数据，制作类似于COCO数据集中所需要的Json训练集 使用方法： 1、add files 添加要标注的图像 2、Attributes name : 填写 train Type : 填写 radio id: 填写 bill (也就是目标的类别，也可以添加多个) 3、进行标注 4、标注后，勾选region annotations 为对应的目标类别 5、所有图像标注完成后， annotation ---> export annotation as json 保存为json文件 6、 http://www.bejson.com/ 这里可以格式化标注好的json 文件 https://blog.csdn.net/qq_15969343/article/details/80167215 来源：

全文共 11413 字，预计学习时长 33 分钟 图源：Unsplash “每隔一段时间，就会出现一种能改变一切的革命性产品。” ——史蒂夫·乔布斯（SteveJobs） 这句21世纪最知名的言论之一与深度学习有什么关系呢？ 想想看。计算能力的提升带来了一系列前所未有的突破。 若要追根溯源，答案将指向注意力机制。简而言之，这一全新概念正在改变我们应用深度学习的方式。 图源：Unsplash 注意力机制是过去十年中，深度学习研究领域最具价值的突破之一。 它催生了包括Transformer架构和Google的BERT在内的自然语言处理（NLP）领域的许多近期突破。如果你目前（或打算）从事NLP相关工作，一定要了解什么是注意力机制及其工作原理。 本文会讨论几种注意力机制的基础、流程及其背后的基本假设和直觉，并会给出一些数学公式来完整表达注意力机制，以及能让你在Python中轻松实现注意力相关架构的代码。 大纲 l 注意力机制改变了我们应用深度学习算法的方式 l 注意力机制彻底改变了自然语言处理（NLP）甚至计算机视觉等领域 l 本文将介绍注意力机制在深度学习中的工作原理，以及如何用Python将其实现 目录 1.什么是注意力？ 1. 深度学习是如何引入注意力机制的 2. 了解注意力机制 2.使用Keras在Python中实现简单的注意力模型 3.全局与局部注意力 4

图像读取 opencv 无法正确读取用于 语义分割 的mask图像, 因为opencv在读取 png 格式的图像时, 自动将单通道转换为三通道 , 像素值也发生改变 import cv2 as cv import numpy as np import PIL . Image as Image def countColors ( img ) : m , n = img . shape [ : 2 ] colors = [ ] for i in range ( m ) : for j in range ( n ) : px = list ( img [ i , j ] ) if px in colors : continue else : colors . append ( px ) print ( colors ) path = "examples/imgs/Person/2008_002176.png" # 转换的像素值 img = cv . imread ( path ) print ( img . shape ) # (294, 500, 3) countColors ( img ) # [[0, 0, 0], [0, 0, 128], [128, 0, 0], # [0, 128, 0], [0, 128, 128], [128, 0, 128]] # 真实的像素值 img

1. 引言 在深度学习中，为了丰富图像数据的训练集，更好的提取图像特征，泛化模型（防止模型过拟合），一般都会对图像数据进行数据增强（Data Augmentation）。 2. 数据增强 在深度学习中，为了避免出现过拟合（Overfitting），通常我们需要输入充足的数据量。若数据量比较小，可以对原有的图像数据进行几何变换，改变图像像素的位置并保证特征不变。 数据增强，一般常用的方式有旋转图像，剪切图像，改变图像色差，扭曲图像特征，改变图像尺寸大小，增强图像噪音（一般使用高斯噪音，椒盐噪音）等。但是需要注意，尽量不要加入其他图像轮廓的噪音。 旋转 | 反射变换(Rotation/reflection): 随机旋转图像一定角度; 改变图像内容的朝向; 翻转变换(flip): 沿着水平或者垂直方向翻转图像; 缩放变换(zoom): 按照一定的比例放大或者缩小图像; 平移变换(shift): 在图像平面上对图像以一定方式进行平移; 可以采用随机或人为定义的方式指定平移范围和平移步长, 沿水平或竖直方向进行平移. 改变图像内容的位置; 尺度变换(scale): 对图像按照指定的尺度因子, 进行放大或缩小; 或者参照SIFT特征提取思想, 利用指定的尺度因子对图像滤波构造尺度空间. 改变图像内容的大小或模糊程度; 对比度变换(contrast): 在图像的HSV颜色空间