图像像素

Introduction 这是斯坦福计算机视觉大牛李菲菲最新开设的一门关于deep learning在计算机视觉领域的相关应用的课程。这个课程重点介绍了deep learning里的一种比较流行的模型：Convolutional Neural Networks，简称CNN，主要利用CNN来做visual recognition，或者说是image classification，object recognition等。我自己在学习的过程中，一边翻译一边总结，整理出这些中文版的lecture notes，英文好的同学可以直接看原文，课程的网址是： http://cs231n.stanford.edu/ 学习这门课程，需要一定的数学基础，包括线性代数，概率论，统计等，还要对传统的机器学习有一定的了解，可以参考斯坦福大学机器学习大牛Anderw的课程，另外一个前提条件是编程，这门课程没有用matlab，而是用了当下比较流行的一种语言python，课程中所有的程序都是用python写成的，所以还要学习python编程，这门课程对python有简单的介绍，并且还推荐了相应的python版本及编译器，这些信息都可以在课程网站上找到。 我在这里转译的中文lecture notes，认为大家都已经搞定了上述所需的前提条件，就是有一定的数学基础，也了解机器学习，并且安装了相应的python和IDE

Feature Selective Anchor-Free Module for Single-Shot Object Detection 用于单发物体检测的功能选择免锚模块 图1：在相同的训练和测试规模下，使用强大的ResNeXt-101的基于锚的RetinaNet [22]（左）和使用ResNet-50的带有FSAF模块的检测器的定性结果（仅右图）。我们的FSAF模块可通过功能较弱的骨干网络帮助检测硬物，例如小人和平板滑雪板。有关更多示例，请参见图7。 Abstract 我们激励并提出 功能选择性免锚（FSAF）模块 ，这是用于 单发物体检测器 的简单有效的构建块。可以将其插入具有特征金字塔结构的单发检测器。 FSAF模块解决了传统基于锚的检测带来的两个限制：1）启发式引导特征选择； 2）基于重叠的锚点采样。 FSAF模块的一般概念是在线特征选择，用于选择多级无锚分支。具体地，无锚分支附接到特征金字塔的每个级别，从而允许以任意锚的无锚方式进行盒编码和解码。在训练过程中，我们会为每个实例动态分配最合适的功能级别。在推论时，FSAF模块可以通过并行输出预测与基于锚的分支共同工作。我们通过无锚分支的简单实现和在线特征选择策略来实例化此概念。在COCO检测轨道上的实验结果表明，我们的FSAF模块比基于锚的模块性能更好，但速度更快。当与基于锚的分支联合使用时

图像特征提取三大法宝：HOG特征，LBP特征，Haar特征 （一）HOG特征 1、HOG特征： 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。 （1）主要思想： 在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。 （2）具体的实现方法是： 首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。 （3）提高性能： 把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化

LBP（ Local Binary Pattern ，局部二值模式）是一种用来描述图像 局部纹理特征 的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由 T. Ojala, M.Pietikäinen, 和 D. Harwood 在 1994 年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征； 1 、 LBP 特征的描述 原始的 LBP 算子定义为在 3*3 的窗口内，以窗口中心像素为阈值，将相邻的 8 个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为 1 ，否则为 0 。这样， 3*3 邻域内的 8 个点经比较可产生 8 位二进制数（通常转换为十进制数即 LBP 码，共 256 种），即得到该窗口中心像素点的 LBP 值，并用这个值来反映该区域的纹理信息。如下图所示： LBP 的改进版本： 原始的 LBP 提出后，研究人员不断对其提出了各种改进和优化。 （ 1 ）圆形 LBP 算子： 基本的 LBP 算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求， Ojala 等对 LBP 算子进行了改进，将 3 × 3 邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R

一、像素重映射 重映射就是把一个图像中一个位置的像素放置到另一个图片指定位置过程。为了完成重映射过程有必要获得一些插值作为非整数像素坐标，因为原图像与目标图像的像素坐标不是一一对应的。我们通过重映射来表达每个像素的位置(x, y): g(x, y)=f(h(x,y)) 这里g()是目标图像，f()是原图像，h(x,y)是作用于(x,y)的映射方法函数 二、remap void cv :: remap ( InputArray src , OutputArray dst , InputArray map1 , InputArray map2 , int interpolation , int borderMode = BORDER_CONSTANT , const Scalar & borderValue = Scalar ( ) ) rc:输入图像 dst:目标图像，与原图像类型相同，与map1图像尺寸大小相等 map1: (x, y)的第一个映射或者是CV_16SC2、CV_32FC1或CV_32FC2的x值 map2: 第二个map，表示类型为CV_16UC1、CV_32FC1的y值或空值(如果map1是用(x,y)进行表示) interpolation: 插值方式，在此函数中不支持INTER_AREA插值方法。插值方法如下(可通过InterpolationFlags查看)

1 、为什么进行图像增强 图像增强是指增强图像中某些特征，同时削弱或去除某些不需要的信息，即为了某种应用而去改善图像的质量，消除噪声，显现那些被模糊了的细节或简单的突出一副图像中感兴趣的特征。所以图像增强并不是增强图像的原始信息，而是只针对某一特征以提高某种信息的辨别能力，图像增强需要根据需求采用特定的方法，当增强一些信息时另外一些信息必定被损失，不存在一种通用的方法，必须根据需求决定保留哪些信息丢弃哪些信息。 图像增强技术基本上可以分为两类：空间域增强、频域增强。 2 、空间域滤波理论 2.1定义 空间域滤波就是在图像平面上对像素进行操作。 空间域滤波大体分为两类：平滑、锐化。 平滑滤波：模糊处理，用于减小噪声，实际上是低通滤波，典型的滤波器是高斯滤波。 锐化滤波：提取边缘突出边缘及细节、弥补平滑滤波造成的边缘模糊。实际上是高通滤波。 空间域处理可由下式表示： g(x,y)=T[f(x,y)] 式中，f(x,y)是输入图像，g(x,y)是处理后的图像，T是在点(x,y)的邻域上定义的关于f的一种算子，算子可应用于单幅图像或图像集合。 2.2空间域滤波和邻域处理 1）空间滤波器由一个邻域（通常是一个较小的矩形）和对该邻域所包围图像像素执行的预定义操作组成。对预定义的点（x，y）为中心的领域内的像素进行计算。 2）滤波产生一个新像素，新像素的坐标等于邻域中心的坐标（x，y）

混合模式是PS最强大的功能之一，它决定了当前图像中的像素如何与底层图像中的像素混合，使用混合模式可以轻松地制作出许多特殊的效果，但是要真正掌握它却不是一件容易的事。 将混合模式分为六大类，即： 一.组合模式（正常、溶解） 二.加深混合模式（变暗、正片叠底、颜色加深、线性加深） 三.减淡混合模式（变亮、滤色、颜色减淡、线性减淡） 四.对比混合模式（叠加、柔光、强光、亮光、线性光、点光、实色混合） 五.比较混合模式（差值、排除） 六.色彩混合模式（色相、饱和度、颜色、亮度）。 详解： 一.组合模式：组合模式中包含“正常和溶解”模式，它们需要配合使用不透明度才能产生一定的混合效果。 1.正常模式：在“正常”模式下调整上面图层的不透明度可以使当前图像与底层图像产生混合效果。 　 　2.“溶解”模式：特点是配合调整不透明度可创建点状喷雾式的图像效果，不透明度越低，像素点越分散。 二.加深混合模式：加深混合模式可将当前图像与底层图像进行比较使底层图像变暗。 1.变暗模式：特点是显示并处理比当前图像更暗的区域。(查看每个通道中的颜色信息，并选择基色或混合色中较暗的颜色作为结果色。比混合色亮的像素被替换，比混合色暗的像素保持不变。) 2.正片叠底：特点是可以使当前图像中的白色完全消失，另外，除白色以外的其他区域都会使底层图像变暗。无论是图层间的混合还是在图层样式中，正片叠底都是最常用的一种混合模式

一、ps图层不透明度设置 　　图层的不透明度决定它显示自身图层的程度：如果不透明度为 1% 的图层显得几乎是透明的，而透明度为 100% 的图层显得完全不透明（这里注意不要弄反了）。图层的不透明度的设置方法是在图层面板中“不透明度”选项中设定透明度的数值，100%为完全显示（图1）。 图1 小提示：背景图层或锁定图层的不透明度是无法更改的。 　　除了设置图层的不透明度以外，还可以为图层指定填充不透明度。填充不透明度影响图层中绘制的像素或图层上绘制的形状，但不影响已应用于图层效果的不透明度。填充方法是在图层调板的“填充不透明度”文本框中输入值（图2）。 图2 使用ps图层混合模式可以创建各种特殊效果，使用混合模式很简单，只要选中要添加混合模式的图层，然后图层面板的混合模式菜单中找到所要的效果。下面我们来仔细看看。 二、图层混合模式 　　使用混合模式可以创建各种特殊效果，需要注意的是图层没有“清除”混合模式，Lab 图像无法使用“颜色减淡”、“颜色加深”、“变暗”、“变亮”、“差值”和“排除”等模式。使用混合模式很简单，只要选中要添加混合模式的图层，然后图层面板的混合模式菜单中找到所要的效果（图3）。 在菜单选项栏中指定的混合模式可以控制图像中的像素的色调和光线，应用这些模式之前我们应从下面的颜色应用角度来考虑：基色，是图像中的原稿颜色。混合色，是通过绘画或编辑工具应用的颜色。结果色

区域生长 定义参考 维基百科 : 对图像分割的定义： 图像分割是对图像中的每个像素加标签的一个过程，这一过程使得具有相同标签的像素具有某种共同视觉特性。 区域生长的定义： 区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素具有相同或相似性质的像素（根据某种事先确定的生长或相似准则来判定）合并到种子像素所在的区域中。将这些新像素当做新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，这样，一个区域就长成了。 定义简单明了。 由定义可知，区域生长的三个要点： 种子点 生长准则 终止条件 根据不同的生长准则和终止条件有不同的区域生长算法。 本次使用的是Confidence Connected。 Confidence Connected 参考官方文档： http://insightsoftwareconsortium.github.io/SimpleITK-Notebooks/Python_html/30_Segmentation_Region_Growing.html This region growing algorithm allows the user to implicitly specify the threshold bounds based on the

FishNet: 用于图像、区域和像素级的多功能主干网络 摘要 对于预测不同层级的目标对象（如图像级、区域级和像素级），设计卷积神经网络（ CNN ）结构的基本原则具有多样性。一般来讲，专门为图像分类任务所设计的网络结构，会默认作为其他任务（包括检查和分割）的主干网络结构。但是，多数网络的主干设计并没有考虑统一网络的优势，而为像素级或区域级的预测任务设计主干网络，原因可能是需要更高分辨率的深层特征。为了实现这一目标，本文设计了一个类似鱼形的主干网络，我们称为 FishNet 。在 FishNet 中，所有的解决方案信息都会被保留，并在最后的任务进行精炼。除此之外，我们观察到，现存的工作并不能直接将梯度信息从深层网络传递给浅层网络，而本文的设计可以更好地处理该问题。为了验证 FishNet 的性能表现，我们进行了大量实验。特别地，在 ImageNet-1k 数据集上，在参数较少的情况下， FishNet 的性能可以完全超过 DenseNet 和 ResNet 。 FishNet 已经被应用在赢得 2018 年 COCO 检测挑战赛的一个模块中。代码被公开在： https://github.com/kevin-ssy/FishNet 。 1 简介 在计算机视觉领域中，卷积神经网络（ CNN ， Convolutional Neural Network