图像分割

文章目录 1. FCN全卷积网络-2014 2. 编解码结构SegNet-2015 3. U-Net分割网络-2015 4. DeepLab v1,v2,v3 -2015,2017,2018 5. 实时分割网络ENet-2016 6. CRFasRNN-空了看看 7. PSPNet-2017 8.Parsenet 9. UNet++ 2018 10. Deepmask 实例分割 2015 11. RefineNet 多分辨率特征融合 -2016 12. LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation 主要图像分割任务的区别： 语义分割：把一定数目不同的类别的图像分割出来，不需要分开多个相同的个体； 实例分割：区分一定数目相同类别的不同个体； 全景分割：区分未知数目相同类别的不同个体。 1. FCN全卷积网络-2014 参考： FCN 特点 ： 输入：整幅图像。输出：空间尺寸与输入图像相同，通道数等于全部类别个数。真值：通道数为1（或2）的分割图像。 池化层P5上采样（反卷积）+P4上采样+P3上采样作为最终的预测具有最好的效果。即把后阶段的特征加到前面的特征图，再更大的尺寸进行预测。（一般分类是下采样到最好层进行加操作，但是这里是上采样

课时26 图像分割与注意力模型（上） 语义分割： 我们有输入图像和固定的几个图像分类，任务是我们想要输入一个图像，然后我们要标记每个像素所属的标签为固定数据类中的一个 使用卷积神经，网络为每个小区块进行分类，对在区块的中间打上标签，对图像的全部区块分类完毕，我们就可以得到每个像素所对应的标签，这个操作实际上非常耗时，因为一张图片将会被分割非常多的小块。 如果这些神经网络具有相关的结构，通过这个图像金字塔方法的话，这些图像的输出将会有不同的感受野。 语义分割的迭代精化 我们有一个输入图像，他们被分割成三个通道，我们把输出从卷积神经网络中拿出来，同时把对应的下采样版本的图像拿出来。然后我们再重复这一过程，所以这个过程，其实是有点增加输出有效的感受野，同时也对输入图像有更多的处理。 即时分割或者实时检测和分割： 我们有一些分类需要去识别，给定一张图像需要输出对应图像的不同分类实例，而分实例我们也需要分割到具体每个像素是属于哪个实例。 实例分割 我们给他一副输入图像，CNN还要依赖于外部的候选区域，就是计算机视觉中低层次信息得离线处理操作，预测物体在图像中的具体的位置。每个分割候选我们可以抽取出一个bounding box，来提取边界框裁剪输入图像，喂给卷积神经网络去抽取特征，同时并行的执行RCNN，再一次我们拿到相应的块图像，进行裁剪，但这里我们实际上有候选的分割

**Object as Distribution** 摘要：目标检测是视觉场景理解的关键部分。目标在检测任务中的表示方式对注释的效率和可行性，遮挡的鲁棒性，姿势，光照和其他语义不确定性的可视源以及现实应用中的有效性（例如，自动驾驶）都具有重要意义。比较流行的目标表示形式包括2D和3D边界框，多边形，样条线，像素和体素。每种都有自己的优点和缺点。在这项工作中，我们提出了一种新的基于二元正态分布的目标的表示形式。这种基于分布的表示形式具有以下优点：可以可靠地检测高度重叠的目标，并且由于目标边缘的统计表示形式，具有改进下游跟踪和实例分割任务的潜力。我们对该目标检测任务的表示形式进行定性评估，并对其在实例分割任务的基准算法中的使用情况进行定量评估。 1 引言： 50多年来，目标检测一直是计算机视觉领域的主要问题之一[1]。 “目标”及其与场景的关系没有普遍的形式化或定义-这是数学，计算机科学，认知科学和哲学领域广泛研究和讨论的话题。尽一切努力明确定义在视觉场景中成为独特目标意味着什么，很多有价值的语义知识被丢弃了[2]。在计算机视觉中，2D图像空间中的目标已由其2D边界框[3]，3D边界框[4]，多边形[5]，样条线[6]，像素[7]和体素[8]定义。每个表示都有基准和最新的算法。从特定应用的实用角度（例如机器视觉）考虑，每种方法都有优点和缺点，它们提供了不同级别的保真度

labelme是MIT出品的用来手动实现图片分割的傻瓜式软件。他的安装很简单。 通过pip的方式可以直接进行安装。 pip install labelme 但是可能有前置库，要安装PyQt。 pip install PyQt5 也是通过pip的方式进行安装。 安装成功后，在cmd界面直接输入labelme即可弹出窗口进行标注。 标注之后，该软件会保存一个json文件到相应文件夹下。 类似这样。 然后在命令行中输入， 其格式为：labelme_json_to_dataset + json文件路径 运行后会生成一个文件夹，文件夹中包含四个部分。 我们对视频标注的话，有很多图片。因此我写了一个批量处理json文件的脚本。 #!/bin/bash path="D:\\desktop\\data\\train-video\\v_ApplyEyeMakeup_g05_c01\\" for i in $(seq 1 179) do if [ $i -le 99 ] && [ $i -ge 10 ] then labelme_json_to_dataset ${path}0${i}.json elif [ $i -lt 10 ] then labelme_json_to_dataset ${path}00${i}.json else labelme_json_to_dataset ${path}$

一、任务分析 肿瘤分割任务由于个体间形状、纹理等差异大，从而实现更加困难。本文就来分析一下，肿瘤分割任务。 在传统医学诊断中，专家的判断几乎是一个决定性的考量因素。即使在深度学习和人工智能快速发展的今天，医学诊断问题上，依然严重依赖于医生的判断。然而，这种依赖存在一定的问题，比如耗时长，比如在高强度的重复工作条件下医生所出现的疲劳和由此引发的失误。 因此，人们开展了越来越多的尝试，希望通过深度学习来实现某些医学诊断。其中一个很重要的应用就是肿瘤的分割。尽管在某些条件和情况下，深度学习的诊断效果非常好，但是这些方法仍然严重受限于数据库、范化性、精度等问题。 不同于医学领域中的器官类分割，不同肿瘤的形状、纹理千差万别，很难通过直接匹配的方式找到它们之间存在的共性。因此，想要利用器官类分割的方法来区分肿瘤，是非常困难的。 本文我们来分析一下，医学领域的肿瘤分割有哪些问题，并给出应用范例。 脑部肿瘤分割示例 二、难点介绍 为了更形象化的描述，这里我们用传统方法的局限分析的方式来侧面了解肿瘤分割问题的困难和产生的原因。 1. 基于阈值的分割方法 基于阈值的分割方法是图像分割中 最简单、高效 的方法，也是 最基础 的方法之一。这种方法通过对图像内设置 全局或局部阈值 ，实现 灰度图像的二值化 ，从而实现前背景分割，即目标区域分割。然而，在肿瘤分割问题上则存在明显问题。以皮肤癌为例

一、任务分析 相比较脑区域分割，医学图像中的心脏分割问题要更复杂，因为心脏是一个不停运作的器官，其形状也会在运动过程中发生变化。本文我们就来看看医学图像分割之心脏分割。 心脏是我们身体内的一个重要器官，拥有一个健康、稳定工作的心脏是我们探索、创造和感知世界的必要条件。然而，各种各样的心脏类疾病也严重威胁着许多人的生命。为了有效治疗和预防这些疾病，精准计算、建模和分析整个心脏结构对于医学领域的研究和应用至关重要。 目前，这个问题的解决仍然需要依赖大量的人工。这样做不仅耗时，而且精度有时难以保证。因此，需要实现心脏区域的自动分割用于解决心脏医疗领域的实际问题。在众多手段中，基于神经网络的方法具有明显优势。以2016年Kaggle发起的左心室分割挑战为例，三名获奖者所使用的方法都是深度学习。 在心脏分割问题中，通常按结构将心脏分成几个标注区域。比如以 MM-WHS数据库 为例，有： 左心室血腔（ the left ventricle blood cavity, LV ） 左心室心肌（ the myocardium of the left ventricle, Myo ） 右心室血腔（ the right ventricle blood cavity, RV ） 左心房血腔（ the left atrium blood cavity, LA ） 右心房血腔（ the right

** 基于全局阈值的图像分割 ** I=imread('F:\20191214162428.jpg'); figure,imshow(I); I2=rgb2gray(I); T=mean2(I2); count=0; d=T; while d>0.5 count=count+1; g=I2>T; Tnew=0.5*(mean2(I2(g))+mean2(I2(~g))); d=abs(Tnew-T); T=Tnew; end figure,imshow(I2); figure,imhist(I2); I3=im2bw(I2,T/255); figure,imshow(I3); count=4 T=139.9443 原图： 灰度图： 灰度直方图：从图中可以看出，有三个波峰，其实不适合用阈值处理的方式进行图像分割，只是拿来练手，如果追求更高水平的分割效果可采用其他方法。 分割结果图： 来源： CSDN 作者： qq_39622795 链接： https://blog.csdn.net/qq_39622795/article/details/103663147

【图像算法】彩色图像分割专题六：一种基于颜色直方图的图像分割 SkySeraph Jun 14th 2011 HQU Email： zgzhaobo@gmail.com QQ：452728574 Latest Modified Date：Jun 14th 2011 HQU 一 原理及说明： 1 首先RGB转HSV，在HSV空间下，对颜色分量H和S分别通过直方图，手动取范围进行分割。 关于RGB转HSV参考： http://www.cnblogs.com/skyseraph/archive/2011/05/05/2038317.html 2 关于颜色直方图相关资料： http://www.opencv.org.cn/index.php/%E5%9B%BE%E5%83%8F%E9%A2%9C%E8%89%B2%E5%88%86%E5%B8%83%E7%9B%B4%E6%96%B9%E5%9B%BE http://blog.csdn.net/foolpanda1168/archive/2010/12/15/6078463.aspx http://www.cnblogs.com/xrwang/archive/2010/02/04/howtousehistogram.html http://blog.csdn.net/yanqingan/archive/2010/06/14/5670951

本文为2019年西安交通大学计算机辅助诊断答辩综述的糖尿病视网膜病变特征分割部分 DR特征分割 1 分割综述 在医学临床上，医生首先要知道的是病灶的位置、大小以及和周围正常组织之间的关系，这可以通过分割过程来达到这个目的。 而在DR诊断中，常需要将血管、微动脉瘤、渗出物等特征分割出来，以便医生判断病情。（我们着重讲述分割血管。） 2 分割挑战 在眼底成像过程中，不同深度的视网膜结构投射到具有最大强度的二维图像上，会导致非血管结构的重叠，和低对比度图像中细血管的可见性降低。 成像会引入伪影、不均匀照明等不利因素。 中央凹、视盘、视网膜边界、硬性渗出物、出血和其他病理改变呈现出复杂的情况，需要考虑。 中央反射呈白色条带，通常位于动脉（上分支血管）的显著位置，可能会导致错误的分割过程。 3 分割方法 3.1 基于像素处理的分割方法 利用图像中像素的特征来进行分割是比较常用的方法，采用的方法包括选取灰度级、利用彩色、多谱灰度直方图等。在医学影像中，它的生物学依据是“同一种人体组织具有相同或相似的灰度或色彩的概率最大”。因此图像中的各个部分的图像可以用灰度级的差别来划分。 直方图阈值分割：如果图像中有两种灰度，一个代表物体， 另一个代表背景，物体和背景的灰度级有明显的差别，那么在直方图上将呈现双峰形态。最直接简单的办法就是把直方图上两个峰之间的谷底作为灰度值分割的阈值

本论文要解决的问题是使用条件生成对抗网络（cGAN）生成合成图像。具体来说，本文要完成的具体任务是使用一个分割掩码控制所生成的图像的布局，该分割掩码的每个语义区域都具有标签，而网络可以根据这些标签为每个区域「添加」具有真实感的风格。 尽管之前已经有一些针对该任务的框架了，但当前最佳的架构是 SPADE（也称为 GauGAN）。因此，本论文的研究也是以 SPADE 为起点的。 具体来说，本文针对原始 SPADE 的两个缺陷提出了新的改进方案。 第一，SPADE 仅使用一种风格代码来控制一张图像的整体风格，这不足以实现高质量的合成或对细节的控制。此外，SPADE 不允许在分割掩码的不同区域使用不同风格的输入图像。因此，第一个改进方案是实现对每个区域的单独控制，即新提出的架构每个区域（即每个区域实例）都能使用一种风格图像作为输入。 第二，研究者认为仅在网络的开始处注入风格信息不是个很好的选择。针对这一问题，本文提出了一种新的归一化构建模块 SEAN（semantic region-adaptive normalization），其可以使用风格输入图像为每个语义区域创建空间上不同的归一化参数。本研究有一个很重要的方面，即空间上不同的归一化参数取决于分割掩码本身以及风格输入图像。 本文在几个高难度的数据集（CelebAMaskHQ、CityScapes、ADE20K 和研究者新建的