梯度算子

个人博客导航页（点击 右侧 链接 即可打开个人博客）： 大牛带你入门技术栈 PaddlePaddle（中文名：飞桨，PArallel Distributed Deep LEarning 并行分布式深度学习）是一个深度学习平台，具有易用、高效、灵活和可伸缩等特点，它是中国第一个开源深度学习开发框架。 飞桨框架的核心技术，主要包括前端语言、组网编程范式、核心架构、算子库以及高效率计算核心五部分。下边分别分析这几部分。 核心架构 飞桨核心架构采用分层设计，如下图所示，前端应用层考虑灵活性，采用Python实现，包括了组网 API、IO API、OptimizerAPI和执行 API等完备的开发接口；框架底层充分考虑性能，采用C++来实现。 框架内核部分，主要包含执行器、存储管理和中间表达优化；内部表示方面，包含网络表示（ProgramDesc）、数据表示（Variable）和计算表示（Operator）几个层面。框架向下对接各种芯片架构，可以支持深度学习模型在不同异构设备上的高效运行。 前端语言 为了方便用户使用，飞桨选择Python作为模型开发和执行调用的主要前端语言，并提供了丰富的编程接口API。Python作为一种解释型编程语言，代码修改不需要重新编译就可以直接运行，使用和调试非常方便，并且拥有丰富的第三方库和语法糖，拥有众多的用户群体。 同时为了保证框架的执行效率

【摘要】 　　Laplace算子作为边缘检测之一，和Sobel算子一样也是工程数学中常用的一种积分变换，属于空间锐化滤波操作。拉普拉斯算子（Laplace Operator）是n维 欧几里德空间 中的一个二阶微分算子，定义为 梯度 （▽f）的 散度 （▽·f）。拉普拉斯算子也可以推广为定义在 黎曼流形 上的椭圆型算子，称为 拉普拉斯-贝尔特拉米算子 。（百度百科） 【原理】 　　拉普拉斯算子是二阶微分线性算子，在图像边缘处理中，二阶微分的边缘定位能力更强，锐化效果更好，因此在进行 图像边缘处理时，直接采用二阶微分算子而不使用一阶微分。 　　　　　　　　　　　　　　　　　　图1 一阶微分和 二阶微分计算图 离散函数的导数退化成了差分，一维一阶差分公式和二阶差分公式分别为：如图2所示 　　　　　　　　图2 一阶微分和 二阶微分计算 分别对Laplace算子x,y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。在一个二维函数f(x,y)中，x,y两个方向的二阶差分分别为：如图3所示 　　　　　　　图3 x,y两个方向的二阶差分 所以Laplace算子的差分形式为： 写成filter mask的形式如下： 该mask的特点，mask在上下左右四个90度的方向上结果相同，也就是说在90度方向上无方向性。为了让该mask在45度的方向上也具有该性质，对该filter

卷积神经网络CNN 为什么选择CNN？ CNN基础 -- 边缘检测 padding 填充 Stride 滑动步长 CNN网络层次结构 CNN模型的训练过程 为什么选择CNN？ 传统神经网络结构存在两个缺点： (1) 当输入层维度较大时，导致网络权重 W 数值较大(一张 64x64 的三通道图片，神经网络输入层的维度为 12288)，训练的神经网络结构较复杂【具体原因在本篇下文介绍】，训练网络所需的内存和计算量庞大，模型训练更加困难，且样本训练集不够，容易出现过拟合； (2) 不符合图像特征提取的机制。传统神经网络是将二维或者三维（包含 RGB 三通道）图片拉伸成一维特征，作为神经网络的输入层。这种操作实际上是将图片的各个像素点独立开来，忽略了各个像素点之间的区域性联系。 CNN基础 – 边缘检测 边缘检测是用来检测图片中包含的边缘信息，具体原理是：将图片与相应的边缘检测算子进行卷积操作(对应位置元素相乘再求和)。 卷积的具体过程如下： padding 填充 根据上述的卷积过程可得，可得如下结论： 当原始图片的尺寸为 n × n (n = 6), 滤波器算法大小为 f × f (f = 3), 注意：f一般为奇数，则卷积后的图片尺寸为 (n-f+1) × (n-f+1) (4 × 4)。 观察上述结论可得出： 卷积运算后，输出的图片的尺寸变小 原始图片边缘信息对输出贡献少

个人博客导航页（点击 右侧 链接 即可打开个人博客）： 大牛带你入门技术栈 PaddlePaddle（中文名：飞桨，PArallel Distributed Deep LEarning 并行分布式深度学习）是一个深度学习平台，具有易用、高效、灵活和可伸缩等特点，它是中国第一个开源深度学习开发框架。 飞桨框架的核心技术，主要包括前端语言、组网编程范式、核心架构、算子库以及高效率计算核心五部分。下边分别分析这几部分。 核心架构 飞桨核心架构采用分层设计，如下图所示，前端应用层考虑灵活性，采用Python实现，包括了组网 API、IO API、OptimizerAPI和执行 API等完备的开发接口；框架底层充分考虑性能，采用C++来实现。 框架内核部分，主要包含执行器、存储管理和中间表达优化；内部表示方面，包含网络表示（ProgramDesc）、数据表示（Variable）和计算表示（Operator）几个层面。框架向下对接各种芯片架构，可以支持深度学习模型在不同异构设备上的高效运行。 前端语言 为了方便用户使用，飞桨选择Python作为模型开发和执行调用的主要前端语言，并提供了丰富的编程接口API。Python作为一种解释型编程语言，代码修改不需要重新编译就可以直接运行，使用和调试非常方便，并且拥有丰富的第三方库和语法糖，拥有众多的用户群体。 同时为了保证框架的执行效率

Canny算子是一种非常流行的边缘检测算法，在opencv中直接提供给了我们Canny函数，但是我们还是有必要对其原理有一定的了解。 原理 Canny算子包含四步操作： 去噪 首先要去除图像的噪声，边缘检测很容易受到噪声的影响。去噪操作中我们使用的是5*5的高斯滤波器。 计算梯度 在这一步要计算图像的梯度。不但要计算梯度的大小，还要求出梯度的方向。梯度的方向被归为四类：水平，垂直，两条对角线方向。 计算图像梯度的大小和方向的公式如下： 非极大值抑制 经过以上操作得出的边界是非常粗糙且精度低的。我们需要在计算出梯度的大小和方向之后对整幅图像的像素点进行遍历。去除那些不在边界上的点。 对每一个像素点进行检查，看它是否是周围同方向梯度的点中梯度最大的。如果是最大的，就保留，如果不是，就抑制（归0） 如图，黄色点被保留，白色点被抑制。 滞后阈值 这是确定点是否在边界上的最后一关。我们设置两个阈值（maxVal，minVal） 凡是梯度大于maxVal的点我么就认为这个点处在边界上，保留 梯度值大于minVal小于maxVal的点，如果这个点与某个确定为边界的点相连，保留；否则就抛弃 梯度值小于minVal的点，全部抛弃 经过这四步操作，我们就可以得到所想要的真正边界。 函数 OpenCV中提供给我们现成的函数： cv2 . Canny ( sec , minVal , maxVal )

图像特征提取三大法宝：HOG特征，LBP特征，Haar特征 （一）HOG特征 1、HOG特征： 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。 （1）主要思想： 在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。 （2）具体的实现方法是： 首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。 （3）提高性能： 把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化

一、卷积应用-图像边缘提取 图像的高频分量一般出现在像素值显著改变的地方，而高频分量的出现就容易勾画出图像的轮廓。在高等数学中我们知道函数变化剧烈其所对应的导数值越大(极大值)，所以表示图像像素值改变最大的一个方法就是求出图像的导数。其梯度值剧烈的改变预示着图像中内容发生显著变化。 假设我们有一张一维图像，图中灰度值的“跃升”表示边缘的存在，通过对函数进行一阶微分我们可以更加清晰的看到边缘“跃升”的存在，即在其一阶微分中最大值代表其所对应的像素值变化剧烈。我们可以推测对于图像边缘的检测可以通过定位梯度值大于邻域的像素的方法找到（或者推广到大于一个阈值即可认为是图像边缘） 二、Soble算子 Sobel算子是一个离散微分算子(discrete differentiation operator),它用来计算图像灰度函数的近似梯度并结合了高斯平滑和微分求导，又被称为一阶微分算子、求导算子。 1、在两个方向求导 水平变化：将I与一个奇数大小的内核Gx进行卷积，比如当内核大小为3时，Gx计算结果为 垂直变化：将I与一个奇数大小的内核Gy进行卷积，比如当内核大小为3时，Gy的计算结果为： 2、在图像的每一点结合以上两个结果求出近似梯度： 有时也用如下更简单的代替： 注：当内核大小为3时，Sobel内核可能产生比较明显的误差，毕竟Sobel算子只是求取了导数的近似值，为了解决这一问题

边缘检测简介 边缘 就是图像上灰度或者颜色变化很大的一系列连续的点。或者说是图像上不同的区域之间的交界处。 图像中边缘的特点就要从这两方向去分析：方向和幅度。在沿着边缘走向的像素值变化比较平缓；而沿着垂直于边缘的走向，像素值则变化得比较大。 边缘检测方法 我们要研究 边缘检测的方法 ，就要从它的特点入手。是否是边缘可以说是来判断一个点在某个方向上的变化是否剧烈。那么我们怎么用数学的方式去描述这种变化特点呢。在数学上，我们一般使用导数或者微分。 导数 ： 这个很简单，就是连续函数上某点斜率，导数越大表示变化率越大，变化率越大的地方就越是“边缘”。但是，但斜率接近90度的时候，他的斜率就无限大了，在计算机计算的时候就很麻烦了，首先占用空间大，然后就是当斜率过大的时候便无法用常用的数据类型表示了。所以我们一般不用导数来表示 微分 ： 这个概念需要在大学的时候结束，但也很简单。连续函数上x变化了dx，导致y变化了dy，dy/dx 越大，就可以表示变化率很大了。dx趋向于无限小，dy/dx 就是x在该函数上的导数，所以dy/dx就可以来近似导数，我们成这种方式叫做微分。那这种方式有什么优势呢？当我们固定dx，比较不同点的变化率时只用比较dy就好了，所以计算整幅图像的微分，dy的大小就是边缘的强弱了，我们也称之为梯度。所以我们一般会采用微分的方式。 算子 是一个函数空间到另一个函数空间上的映射

在讨论边缘算子之前，首先给出一些术语的定义： (1)边缘：灰度或结构等信息的突变处，边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。 (2)边缘点：图像中具有坐标[x，y]，且处在强度显著变化的位置上的点。 (3)边缘段：对应于边缘点坐标[x，y]及其方位 ，边缘的方位可能是梯度角。 二、Sobel算子的基本原理 Sobel算子是一阶导数的边缘检测算子，在算法实现过程中，通过3×3模板作为核与图像中的每个像素点做卷积和运算 ，然后选取合适的阈值以提取边缘。 一个特殊卷积所实现的功能是由卷积核的形式决定的。这个核本质上是一个大小固定、由数值参数构成的数组，数组的参考点（anchor point）通常位于数组的中心。数组的大小成为核支撑。单就技术而言，核支撑实际上仅仅由核数组的非0部分组成。对图像的卷积，首先将核的参考点定位到图像的第一个像素点，核的其余元素覆盖图像中其相对应的局部像素点。对于每一个核点，我们可以得到这个点的核值以及图像中相应图像点的值，将这些值相乘并求和，并将这个结果放在与输入图像参考点所相对应的位置。通过在整个图像上扫描卷积核，对图像的每个点重复此操作。 索贝尔算子 （Sobel operator）主要用作边缘检测，在技术上，它是一阶离散性差分算子，用来运算图像亮度函数的灰度值近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量

1.cv2.Sobel(src, ddepth, dx, dy, ksize) 进行sobel算子计算 参数说明：src表示当前图片，ddepth表示图片深度，这里使用cv2.CV_64F使得结果可以是负值， dx表示x轴方向，dy表示y轴方向, ksize表示移动方框的大小 2.cv2.convertScalerAbs(src) 将像素点进行绝对值计算 参数说明: src表示当前图片 sobel算子：分为x轴方向和y轴方向上的，x轴方向上的算子如图中的Gx，将sober算子在图中进行平移，当前位置的像素值等于sobel算子与(当前位置与周边位置8个点)进行对应位置相乘并相加操作，作为当前位置的像素点，y轴方向的算子如Gy， 对于x轴方向上，即左右两边的比较， 计算方程为：x轴： p3 - p1 + 2 * p6 - 2 * p4 + p9 - p7， 右边的像素值减去左边的像素值 代码： 第一步：载入原始图片 第二步：使用cv2.Sobel(src, cv2.CV_64F, 1, 0, ksize=3) 对x轴方向进行sobel算子相乘操作 第三步：由于会出现负值的情况，因此使用cv2.convertScalerAbs() 转换为绝对值的形式 第四步：计算y轴方向上的sobel算子 第五步：使用cv2.addWeighted