图像分割

本文为论文阅读笔记，不当之处，敬请指正。 A Review on Deep Learning Techniques Applied to Semantic Segmentation: 原文链接 4 深度学习图像分割的常用方法 深度学习在多种高级计算机视觉任务中的成功―特别是监督CNNs（Convolutional Neural Networks，卷积神经网络）在图像分类、物体检测方面的成功―鼓舞着研究人员探索此类网络对于像素级标记，如语义分割方面的能力。此类深度学习技术的突出优点，相比传统方法，，能够针对当前问题 自动学习合适的特征表示 。传统方法通常使用手动特征，为了使其适应新的数据集，通常需要专家经验和时间对特征进行调整。 文章综述中所比较的基于深度学习的图像分割算法的特性（详情查看原文）。 当前最成功的图像分割深度学习技术都是基于一个共同的先驱：FCN（Fully Convolutional Network，全卷积神经网络）。CNNs是非常高效的视觉工具，能够学习到层次化的特征。 研究人员将全连接层替换为卷积层来输出一种空间域映射而非类的评分，从而将现存、周知的分类模型，如AlexNet，VGG，GoogleNet和ResNet等，转化为全卷积的模型。 这些映射用分数阶卷积（fractionally strided convolutions，又名反卷积）来产生像素级标签输出。

原博客地址： https://blog.csdn.net/u011630458/article/details/65635155 　　这段时间在看基于字典的单帧图像超分辨率重建，本篇主要是对这块做个笔记记录。 1 、准备好用于字典训练的低分辨率图像 LR 及与之对应的高分辨率图片 HR 。 2 、将低分辨率图像双线性或者三次方插值到高分辨率图像相同大小，得到 MR 。 3 、将 MR 图像分成若干个 3x3 或者 5x5 之类的小块，小块之间有 1x1 或者 2x2 之类的重叠区域，对应的高分辨率图像同样对应坐标位置，分成这个多块。 4 、对 MR 的图像块做特征提取操作，可以是每个块减去该块平均值、或者是每个块做梯度散度提取。 1 、 MR 特征块集合作为低分辨率字典，对应的高分辨率块集合作为高分辨率字典。 2 、输入待处理的低分辨率图像，并用和字典训练一样的块大小做分割。 3 、所有低分辨率图像分割块做特征提取。 4 、每个特征块 X ，在低分辨率字典中找到最接近的 K 个块。 5 、通过这 K 个块，拟合得到最接近该特征块的权重系数 A 。 6 、找到高分辨率字典上对应的该 K 个块，乘上权重系数 A ，得到低分辨率块 X 对应的高分辨率图像块 Y 。 7 、循环计算，直到所有低分辨率块都得到对应高分辨率块。 8 、所有高分辨率块，根据之前分割坐标，反向贴合

原文地址： https://blog.goodaudience.com/using-convolutional-neural-networks-for-image-segmentation-a-quick-intro-75bd68779225 语义分割的目的是将图像中的每个像素映射至一个目标类。样例如下： 上图中所有车辆被标记为相同的颜色，每个目标类都分别进行了分割，相比于分类，分割是一个更加复杂的问题。 我们使用全卷积网络（FCNs）对图像进行分割，全卷积网络首次在 这篇文章 中提出，这是为数不多的可读的研究论文之一，它不会用数学符号、专业名词和深奥的术语压垮你。如果你之前使用过卷积神经网络（CNNs），一定要阅读一番。 我会介绍两个重要的技巧，使你能够将用于图像分类的预训练 CNN 转换为 FCN 来执行图像分割。 将全连接层（FC）转换为卷积层（CONV） FC 和 CONV 层唯一的不同在于 CONV 层中的神经元仅仅和输入中的局部区域相连接，CONV 块中的很多神经元共享参数。然而，这两个层中的神经元仍然要计算点积，所以它们的函数形式是相同的。因此，在 FC 和 CONV 层之间进行转换是可行的。 来源： cs231n lecture notes 假设你的卷积层输出大小为7x7x512，紧跟一个有 4096 个神经元的 FC 层，则对于一个单独的输入图像来说，FC

理解参考： https://blog.csdn.net/tuzixini/article/details/78760158 SegNet结构： SegNet和FCN最大的不同就在于decoder的upsampling方法 ,上图结构中,注意,前面encoder每一个pooling层都把pooling indices保存,并且传递到后面对称的upsampling层. 进行upsampling的过程具体如下: 左边是SegNet的upsampling过程,就是把feature map的值 abcd, 通过之前保存的max-pooling的坐标映射到新的feature map中,其他的位置置零. 右边是FCN的upsampling过程,就是把feature map, abcd进行一个反卷积,得到的新的feature map和之前对应的encoder feature map 相加. SegNet的分割精度略好于FCN 文章来源: 图像分割--SegNet

原文链接： 边缘检测与图像分割 作者： HUSTLX 1图像分割原理 图像分割的研究多年来一直受到人们的高度重视，至今提出了各种类型的分割算法。Pal把图像分割算法分成了6类：阈值分割，像素分割、深度图像分割、彩色图像分割，边缘检测和基于模糊集的方法。但是，该方法中，各个类别的内容是有重叠的。为了涵盖不断涌现的新方法，有的研究者将图像分割算法分为以下六类：并行边界分割技术、串行边界分割技术、并行区域分割技术、串行区域分割技术、结合特定理论工具的分割技术和特殊图像分割技术。而在较近的一篇综述中，更有学者将图像分割简单的分割数据驱动的分割和模型驱动的分割两类。下面将图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于数学形态的分割方法以及基于特定理论的分割方法等，对其中主要的分别进行简要介绍。 1.1灰度阈值分割法 是一种最常用的并行区域技术，它是图像分割中应用数量最多的一类。阈值分割方法实际上是输入图像f到输出图像g的如下变换： 其中，T为阈值，对于物体的图像元素g(i,j)=l，对于背景的图像元素g(i,j)=0。 由此可见，阈值分割算法的关键是确定阈值，如果能确定一个合适的阈值就可准确地将图像分割开来。如果阈值选取过高，则过多的目标区域将被划分为背景，相反如果阈值选取过低，则过多的背景将被划分到目标区 [7] 。阈值确定后

#include <opencv2/opencv.hpp> #include "opencv2/highgui/highgui.hpp" #include "opencv2/imgproc/imgproc.hpp" using namespace cv; using namespace std; //-----------------------------------【main( )函数】-------------------------------------------- // 描述：控制台应用程序的入口函数，我们的程序从这里开始 //------------------------------------------------------------------------------------------------- int main(int argc, char** argv) { // 【1】载入原始图，且必须以二值图模式载入 Mat srcImage = imread("1.jpg", 0); imshow("原始图", srcImage); //【2】初始化结果图 Mat dstImage = Mat::zeros(srcImage.rows, srcImage.cols, CV_8UC3); //【3】srcImage取大于阈值119的那部分

1、阈值分割 阈值分割法是一种基于区域的图像分割技术。其基本原理是：通过设定不同的特征阈值，把图像象素点分为若干类。根据图像阈值化算法所依据的信息源，可将阈值化方法分为五类：1) 基于聚类的方法:数据聚类中，总的数据集被划分为属性相似的子类，例如将灰度级聚类成为两部分：前景物体部分和背景部分。2) 基于直方图的方法：在直方图的峰、谷和直方图的圆滑曲线上进行分析。3) 基于熵的方法：熵方法将区域分为背景区域和前景区域，前景区域通常是物体部分(在一些热红外图像中，背景部分是物体) 。该方法是通过最小化一个熵函数来实现的，交叉熵函数包含了介于原图和其二值图像之间的保留信息。4) 基于空间方法：使用概率密度函数模型，考虑全局范围内的像素之间的相似关系。5) 基于自适应方法：局部方法不能决定单一的阈值，自适应阈值依赖于局部图像特点。 这里，我们仅结合OpenCV中的API函数 threshold 来介绍一下阈值化。threshold函数原型如下： double threshold(InputArray src, OutputArray dst, double thresh, double maxVal, int thresholdType) Parameters: 第一个参数: 输入的灰度图像的地址。 第二个参数: 输出图像的地址。 第三个参数: 进行阈值操作时阈值的大小。 第四个参数:

转载： 【数字图像处理框架及常用技术】 数字图像处理之前需要先进行图像数字化：图像数字化图像数字化是计算机处理图像之前的基本步骤，目的是把真实的图像转变成计算机能够接受的存储格式，数字化过程分为采样和量化两个步骤。 数字图像处理的框架大体分为如下8个部分 1. 图像变换 有时候，直接对图像进行处理会遇到一些困难，为了有效和快速地对图像进行处理和分析，需要将原定义在图像空间的图像以某种形式转换到另外的空间，利用空间的特有性质方便地进行一定的加工，最后再转换回图像空间以得到所需的效果。经过变换后的图像往往更有利于特征提取、增强、压缩和编码。 常用技术 1.卷积 2.梯度和Sobel导数 3.拉普拉斯变换 4.Canny算子 5.霍夫变换 6.重映射 7.几何操作：拉伸、收缩、扭曲和旋转 8.离散傅里叶变换（DFT） 9.离散余弦变换（DCT） 10.哈儿变换 11斜变换 2. 形态学图像处理 数学形态学是一门20世纪60年代发展起来的理论，用于分析和处理离散图像。它定义了一系列运算，用预先定义的形状元素探测图像，从而实现图像的转换。这个结构元素与像素领域的相交方式决定了运算的结果。 常用技术 1.平滑处理 2.膨胀与腐蚀 3.开启操作与闭合操作 4.检测边缘和角点 3. 图像边缘检测 边缘检测的目标是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反应了属性的重要事件和变化

Where Is My Mirror?(ICCV2019收录) 作者： 论文链接： https://arxiv.org/pdf/1908.09101.pdf 1. 研究背景 目前存在的计算机视觉任务都没有考虑镜像的问题，而在实际中由于镜像反射内容的混淆，极易导致性能下降。如图1所示，通常会造成（b）图错误的深度估计。（c）图中Mask RCNN错误的分割镜像中的反射物体。 将镜像外部的真实内容与镜像内部的反射内容分离开来并不容易。关键的挑战在于，镜像通常会反射与其周围环境相似的内容，这使得区分两者非常困难。 2. 贡献点 1.构建了第一个大规模的镜像数据集mirror segmentation dataset (MSD)，其中包含取自不同的日常生活场景的4018张图片，包括镜像图片和对应的手工标注的镜像掩码。 2.提出了一种新的基于上下文对比特征提取模块的镜像分割网络，通过学习对镜像内外的上下文对比进行建模。 3.通过大量的实验，证明了所提出的网络优于许多从最先进的分割/检测方法得到的baseline。 3. 方法细节 3.1 设计思想 研究人员观察到，人们识别镜像中的内容，通常会从边界入手，观察其不连续性。因此，这个问题的一个直接的解决方案，是应用低层次的特征，比如颜色和纹理变化，来检测镜像边界。但是如果一个镜像前面有物体遮挡，如图1中(c)图第二行所示

基于DSP的FCM图像分割 一、目标 利用VisualDSP++ 5.0、仿真器、EBF-561实验平台实现该算法，并通过该聚类算法实现图像的不同区域的聚类结果。 二、实现方案 实验原理 FCM 聚类算法目标函数为 如果 p表示每一个样本x_j的维数0，X={x_1,x_2,…x_j,…x_N}是一个p×N矩阵；N表示样本数目，通常表示图像像素数；C表示聚类数目；u_ij⊆U(p×N×C)是矢量x_j隶属于第i类的隶属度函数，满足u_ij∈[0,1]且∑_(i=1)^C▒u_ij =1；聚类中心Z={z_1,z_2,…z_i,…z_c}是 p×C矩阵，u_ij和z_i更新等式分别为： 对于每一个模糊隶属度，由m∈(1,∞)控制模糊度的权重指数； d^2 (x_j,x_i )=∥x_j-z_i∥为相似性测度。 变量说明 p 数据样本维数（灰度图像时为 1）； N 像素点数目 Xi 像素i特征（灰度图像时，表示灰度值）； C 图像分割类别数； Uij 像素点j属于第i类的隶属度 Zi 第 i 类聚类中心。 实验步骤 1)置目标函数精度ε，模糊指数m（m通常取 2），最大迭代次数T_m； 2)初始化模糊聚类中心 z_i； 3)由式2更新模糊划分矩阵U={u_ij}和聚类中心Z={z_C} 4)若|J(t)-J(t-1)|<ε或c>T_m则结束聚类；否则，t=t+1并转第（3）步骤； 5