图像分割

语义分割车道线，来自两篇论文的融合算法 IEEE IV 2018论文《LaneNet: Real-Time Lane Networks for Autonomous Driving》。这篇文章主要内容是，如何克服车道切换和车道数的限制。 关于Software Loss，另外一篇文章《Semantic Instance Segmentation with a Discriminative loss function》。 原理是：提出了Lannet网络结构，即通过训练神经网络进行端到端的车道检查，将车道作为实例分割来实现。 下面是Lannet网络结构图： Lanenet使用一个共享的encoder，对输入图像进行处理，得到2个branch：嵌入式和语义分割的branch。嵌入branch可以将不同的车道线区分为不同的instance；因为只需要考虑车道线，因此语义分割的结果是二值化图像；然后对2个branch做聚类，最终得到结果。 通常情况下，车道线像素被投影成“鸟瞰图”。使用一个固定的转换矩阵。可是，因为变换参数对所有图像都是固定的，所以，当遇到非地面例如，在斜坡上，会有问题。为了解决类似问题，提出了H-Network可以估算输入图像上的“理想”透视变换的参数。 投影方法H-Net 将输入的RGB图像作为输入，使用LaneNet得到输出的实例分割结果，然后将车道线像素使用H

1，阈值（threshold）：是我们认为设定的一个像素值。取值在（0~255） 二进制阈值化：（threshold binary）（结果值二值不一定是0-1） 首先要选择一个特定的阈值a 新的阈值识别规则为 大于等于阈值的像素点的灰度值设为最大值（例如8位灰度值的最大值255） 灰度值小于阈值的像素的灰度值设为0 反二进制阈值化：（threshold binary，inverted） 与二进制阈值化值的对应方式正好相反。其他相同。 截断阈值化： 首先选择一个阈值 图像中像素值比阈值大的重新设定为阈值 图像中像素值比阈值小的不变 反阈值化为0：（threshold to zero,inverted） 先选定一个阈值 把大于等于阈值的像素点变为0 把小于阈值的的像素点保持不变 阈值化为0：（与反阈值化为0相反） 先选定一个阈值 把大于等于阈值的像素点保持不变 把小于阈值的的像素点化为0 附代码如下： #threshold函数#retval,dst=cv2.threshold(src,thresh,maxval,type)#retral————返回阈值=thresh；dst————图片处理的结果；# src——————源图像；thresh————阈值；maxval——————阈值分割后的最大值；# type————进行那种类型的阈值分割#注意原始图像的类型，必须是8位单通道图像

目标分割FCN 0、 ABSTRACT 1、 INTRODUCTION 2、 稠密预测调整分类器 3、 去卷积--上采样 4、 跳跃结构 Reference 原文： Fully Convolutional Networks for Semantic Segmentation 收录：CVPR 2015 (The IEEE Conference on Computer Vision and Pattern Recognition) 代码： FCN code 年份 模型 重要贡献 2014 FCN 在语义分割中推广使用端对端卷积神经网络，使用反卷积来进行上采样 2015 U-Net 构建了一套完整 的编码解码器 2015 SegNet 将最大池化转换为解码器来提高分辨率 2015 Dilated Convolutions 更广范围内提高了内容的聚合并不降低分辨率 2016 DeepLab v1&v2 2016 RefineNet 使用残差连接，降低了内存使用量，提高了模块间的特征融合 2016 PSPNet 2017 DeepLab V3 ※中心思想 ：全卷积神经网络FCN主要使用以下三种技术： 卷积化（Convolutional） 上采样（Upsample） 跳跃结构（Skip Layer） 0、 ABSTRACT 论文核心思想 ：构建 全卷积网络 ，该网络 接收任意大小的输入

分割算法选择 背景融合 – 高斯模糊 遮罩层生成 不使用GMM或者K-means：处理非常慢 而基于色彩的处理方法 RGB与HSV色彩空间 过程: 加载视频、帧图像、转为HSV、模型Mask、背景融合替换、显示帧图像、下一帧(循环获取帧图像)、终止 # include <opencv2/opencv.hpp> # include <iostream> using namespace std ; using namespace cv ; Mat bg ; //背景图 大小要与 视频流 大小一致 Mat Repalce_and_Belnd ( Mat & frame , Mat & mask ) ; int main ( int argc , char * * argv ) { VideoCapture capture ; capture . open ( "../path.mp4" ) ; if ( ! capture . isOpened ( ) ) { printf ( "could not find the video file...\n" ) ; return - 1 ; } bg = imread ( "../background.jpg" ) ; if ( bg . empty ( ) ) { cout << "could not load image..." <<

1.使用距离变换的分水岭分割 （1）距离变换 D = bwdist(BW); 二值图像的距离变换是指从每个像素到最接近零值的像素的距离。 （2）测地距离变换 D = bwdistgeodesic(BW,mask); 2.使用梯度的分水岭分割 获取梯度图像： h = fspecial('sobel'); fd = tofloat(f); g = sqrt(imfilter(fd, h, 'replicate') .^ 2 + ... imfilter(fd, h', 'replicate') .^ 2); 在使用针对分割的分水岭变换之前，常常使用梯度幅度对图像进行预处理。梯度幅度图像沿着物体的边缘有较高的像素值，而在其他地方则有较低的像素值。在理想的情况下，分水岭变换可得到沿物体边缘的分水岭脊线。若梯度图像直接进行分水岭变换可能会严重过分割，所以在计算分水岭变换之前可以先平滑梯度图像。 3.控制标记符的分水岭分割 （1）计算局部极小值区域 rm = imregionalmin(f); 其中，f 是灰度图像，rm 是二值图像，rm 的前景像素标记出局部小区域的位置。 （2）扩展极小值 im = imextendedmin(f,h); 其中，f 是灰度图像，h 是高度阈值，im 是一幅二值图像，im 的前景像素标记了深的局部小区域的位置。 （3）强制最小 mp = imimposemin

一、MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM A.系统概述 图2显示了我们提出的系统的流程。它由四个部分组成： segmentation, tracking, fusion and raycasting 。每个输入的RGB-D图像都由Mask R-CNN处理以执行实例分割，然后进行几何边缘分割和计算运动残差以优化蒙版边界（第IV-D节）。对于tracking，我们首先根据不包括人类蒙版区域的所有顶点计算相机位姿（第IV-B节），然后从该位姿进行光线投射，以找出哪些物体在当前帧中是可见的。这也可以帮助将局部对象蒙版与现有对象模型相关联。我们评估每个对象的运动残差以确定其是否处于运动状态，然后追踪运动物体（第IV-C节）并根据静态世界（包括当前的静态对象）改进相机的位姿（第IV-B节）。使用相机和物体的估计位姿，将深度和颜色信息以及预测的语义和前景概率融合到物体模型中（第IV-E节）。 IV-F节介绍了可见物体的检测以及射线投射。 B.RGB-D Camera tracking 计算相机位姿分为两步 1.根据除人类外的所有模型的顶点计算相机位姿。 2.根据静态场景计算相机位姿。 通过最小化密集的点到面的ICP残差eg和光度（RGB）残差ep来进行这两个步骤

图像语义分割 传统图像分割方法 :基于阈值的分割方法、基于区域的分割方法、基于聚类分割的方法、基于图论的分割方法 FCN-32s的网络框架流程 （1）FCN训练阶段与一般的卷积神经网络训练阶段一致。把分类图像缩放成固定大小输入卷积神经网络中进行学习训练，并保存训练结果。 （2）修改卷积神经网络最后的全连接层为卷积层，并称其为FCN网络。 （3）预测阶段会输入图像通过FCN网络，数据在FCN网络中向前传播到最后的卷积层产生的特征图称为热图，对最后产生的热图进行32倍上采样操作恢复成原图大小 （4）最后计算以上采样之后的图逐像素，求得每个像素所属类别得分 SegNet网络框架流程 （1）编码阶段：把图像输入卷积神经网络进行向前传播，并在每次Pooling层中记录下Pooling特征的位置 （2）解码阶段：对解码阶段得到的特征图进行上采样操作和卷积操作，将（1）中编码得到的特征转换为图像标签的过程 （3）分类阶段：逐像素进行Softmax分类，求得每个像素所属类别标签 DeepLab网络 在卷积神经网络模型的基础上提出了空洞卷积层（Atrous卷积层）和金字塔型空洞池化层，使得卷积神经网络模型在不降低图像空间维度的前提下增大了卷积层的感知区域。然后使用FCN的思想获得得分图（热图）后进行上采样操作，获得与输入图像相同尺寸的图像。接着引入全连接条件随机场进行亚像素级别的分割，最终输出分割图

1 综述 Separating touching objects in an image is one of the more difficult image processing operations. The watershed transform is often applied to this problem. The watershed transform finds "catchment basins"(集水盆) and "watershed ridge lines"(山脊线) in an image by treating it as a surface where light pixels are high and dark pixels are low. 如果图像中的目标物体是连接在一起的，则分割起来会更困难，分水岭分割算法经常用于处理这类问题，通常会取得比较好的效果。分水岭分割算法把图像看成一幅“地形图”，其中亮度比较强的区域像素值较大，而比 较暗的区域像素值较小，通过寻找“汇水盆地”和“分水岭界限”，对图像进行分割。 Segmentation using the watershed transform works better if you can identify, or "mark," foreground objects and background

一、图像及其类型 图像（image）的定义是： 在一般意义下，一幅图像是一个物体或对象（object）的另一种表示。亦即图像是其所表示物体或对象信息的一个直接描述和浓缩表示。简而言之，即图像是物体在平面坐标上的直观再现。一幅图像包含了所表示物体的描述信息和特征信息，或者说图像是与之对应的物体或抽象的一个真实表示，这个表示可以通过某些技术手段实现。 数字图像处理（digital image processing）： 又称为计算机图像处理，它是通过计算机对图像进行去除噪声、增强、变换、复原、分割、特征提取、识别等运算与处理。 图像的分类： 可见图像（visible image）： 是指视觉系统可以直接看见的图像，这也是大多数人在日常生活中所见到的和所理解的图像，这一类图像一般通过照像、手工绘制等传统方法获得，通常计算机不能直接处理，但是经过数字化处理后可变为数字图像。 物理图像（physical image）： 所反映的是物体的电磁波辐射能，包括可见光和不可见光图像。 数字图像（maths image） ：指由连续函数或离散函数生成的抽象图像，其中离散函数所生成的图像就是计算机可以处理的数字图像。 其他相关概念： 计算机图形学（computer graphic）： 是指利用计算机技术将概念或数学描述所表示的物体（非实物）图像进行处理和显示的过程。 计算机视觉（computer

实验内容 对左侧图像进行单阈值、多阈值分割，分别得到右侧的结果。请大家实现这两种方法的分割，对比单阈值与多阈值以及不同阈值的分割效果。 实验一：单阈值分割 方法一：人工阈值选择法： 阈值分割最简单的方法就是人工选择法。基于灰度阈值的分割方法，其关键是如何合理的选择阈值。人工选择方法是通过人眼的观察，应用人对图像的知识，在分析图像直方图的基础上，人工选择出合理的阈值。也可以在人工选择出阈值后，根据分割的效果，不断地进行交互操作，从而选择出最佳的阈值。首先，图像的原图如下： 其次，利用imhist（）函数显示出图像的灰度直方图： 通过观察图像灰度直方图可以发现，在150-200之间的灰度值出现很少，而在两边出现了明显的两个高峰，因此根据人工选择阈值法选取183作为图像的阈值分割点，得到的实验效果图如下图所示： 通过观察可以发现人工阈值选择法成功得出了实验效果图，利用灰度直方图的峰谷阈值方法是一种有效且简单的阈值方法，但是该方法有一个局限性，就是要求图像的灰度直方图必须具有双峰型。 方法二：Ostu法： Ostu法是一种使类间方差最大的自动确定阈值的方法，该方法具有简单、处理速度快的特点，是一种常用的阈值选取方法。算法的具体步骤如下： 1、给定一个初始阈值Th，将图像分为C1和C2两类。 2、分别计算出每个灰度值在图像矩阵中的个数，存放在count（）矩阵当中。 3