图像处理

采访讲师：蔡媛 1 5年加入金山云, 现任金山云高级技术总监，负责视频云AI 产品线、媒体处理产品线、视频质量评测体系建设的产品及研发工作。核心项目包括媒体云转码、集智高清、画质增强、KSC265、KQoE等。 LiveVideoStack：在您眼中，自加入金山云以来，金山云在视频云方面经历了怎样的发展？ 蔡媛 ： 我是 2015 年加入金山云的，从我加入后金山云在视频云方面其实发生过很多的变化。金山云是云行业中最早开始做视频云的云服务厂商之一。2016年直播开始爆发，金山云开始在移动端直播SDK、流媒体处理、流媒体分发、视频编解码等方向投入了大量的研发资源。 从 2018 年后，我们开始探索深度学习与传统图像处理、编解码的结合，陆续推出图像增强、集智高清、内容审核等产品，落地了很多客户。 2020 年，金山视频云持续在5G 风口寻求新的机会，相继推出KVR 8K高清直播解决方案、金山云图像\视频评测平台魔镜等。 LiveVideoStack：近期 攻克的技术难点、现阶段正在解决的问题、下一个阶段的研发目标？ 蔡媛 ： 我们视频云团队围绕5G时代视频高清化发展方向，在图像处理和编码方向都有不错的进展，新晋攻克的技术难点主要集中在几个关键项目：集智高清、图像增强、云转码支持AV1、视频评价体系建设等。 我们在4月正式上线直播AI集智高清产品，在同等画质下

FPGA（Field Programmable Gate Array）是在PAL、GAL等可编程器件的基础上进一步发展的产物。它是作为 专用集成电路 （ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点 FPGA设计不是简单的芯片研究，主要是利用 FPGA 的模式进行其他行业产品的设计。 与 ASIC 不同， FPGA在通信行业的应用比较广泛。通过对全球FPGA产品市场以及相关供应商的分析，结合当前我国的实际情况以及国内领先的FPGA产品可以发现相关技术在未来的发展方向，对我国科技水平的全面提高具有非常重要的推动作用。 [2] 与传统模式的芯片设计进行对比，FPGA 芯片并非单纯局限于研究以及设计芯片，而是针对较多领域产品都能借助特定芯片模型予以优化设计。从芯片器件的角度讲，FPGA 本身构成 了半定制电路中的典型 集成电路 ，其中含有数字管理模块、内嵌式单元、输出单元以及输入单元等。在此基础上，关于FPGA芯片有必要全面着眼于综合性的芯片优化设计，通过改进当前的芯片设计来增设全新的芯片功能，据此实现了芯片整体构造的简化与性能提升 FPGA 器件属于专用集成电路中的一种半定制电路，是可编程的逻辑列阵，能够有效的解决原有的器件 门电路 数较少的问题。FPGA 的基本结构包括可编程输入输出单元，可配置逻辑块，数字时钟管理模块

目录 Filters Edge detection边缘检测 车牌识别 SVM Filters 图片噪声的处理 很多图片会有噪声 滑动平均 计算下一步时不要用10 opencv中滑动平均的实现方式，两种 blur是归一化的， boxFilter可以不用归一化 看opencv文档 卷积 核是对称是两者相同 核不同则数值 不同，但意义相似 低通滤波，高通阻断 非线性滤波器 中值滤波 中间值 值的权值会不一样，上面的情况都权值采用1. 双边滤波 滤过噪点保边滤波 很慢 线下可以用 http://docs.opencv.org/2.4/doc/tutorials/imgproc/histograms/template_matching/template_matching.html 步长很近，很多像素相同 运算量增大 可以优化 采用不同的方法 2，1---2，3受到力是向下的位移 物体的形变 遍历很耗时 可以优化 减少计算量 很多常用的方法也可以用来工程问题 Edge detection边缘检测 仅有轮廓 简单的线条 可以知道其重要的形状信息和语义信息和东西 比全部像素表达的紧凑 几何视觉 找图像的水平线 为什么会有连续 1 一种是深度不连续 一种不同物体对光的反射率不同 和 阴影等 图像中如何产生边缘 真实中更多的是渐变 一维数据 求导 在极值的位置 如何用代码实现 前后像素的差平均

本文转载自知乎，已获作者授权转载。 链接： https://zhuanlan.zhihu.com/p/157530787 很高兴和大家分享一下我们刚刚被 ECCV 2020 接收的新工作： 一种超快速的车道线检测算法 （ Ultra Fast Structure-aware Deep Lane Detection ），能够达到SOTA水平的性能，同时保持超高的检测速度。轻量级的版本可以在接近SOTA的性能情况下达到 300+FPS 的检测速度。 代码和模型已开源 。话不多说，先放demo。 1 前言 车道线检测是自动驾驶中的一个基础模块，其实也是一个由来已久的任务，早期已有很多基于传统图像处理实现的车道线检测算法。但随着大家研究的深入，车道线检测任务所应对的场景越来越多样化，逐步已经脱离了对于“白、黄色线条”这种低阶理解。目前更多的方式是寻求对于 语义上 车道线存在位置的检测，即使它是模糊的、被光照影响的、甚至是完全被遮挡的，如下图所示。 图1 目前车道线检测的难点为寻找语义上的线，而不是局限于表观存在的线 对于上图这类问题，基于传统图像处理的方法几乎无法实现检测，因此有了一些方法开始尝试一种最直接的深度学习方案——把车道线检测视为分割任务。虽然深度分割方法效果强于传统方法，但存在两个关键问题 速度慢 因为分割是逐像素分类的，要对图像中每一个像素点进行分类

点击上方 “ AI算法与图像处理 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 本文转载自知乎，仅做学习交流分享，如有侵权请联系删除 链接： https://zhuanlan.zhihu.com/p/157530787 很高兴和大家分享一下我们刚刚被 ECCV 2020 接收的新工作： 一种超快速的车道线检测算法 （ Ultra Fast Structure-aware Deep Lane Detection ），能够达到SOTA水平的性能，同时保持超高的检测速度。轻量级的版本可以在接近SOTA的性能情况下达到 300+FPS 的检测速度。 代码和模型已开源 。话不多说，先放demo。 1 前言 车道线检测是自动驾驶中的一个基础模块，其实也是一个由来已久的任务，早期已有很多基于传统图像处理实现的车道线检测算法。但随着大家研究的深入，车道线检测任务所应对的场景越来越多样化，逐步已经脱离了对于“白、黄色线条”这种低阶理解。目前更多的方式是寻求对于 语义上 车道线存在位置的检测，即使它是模糊的、被光照影响的、甚至是完全被遮挡的，如下图所示。 图1 目前车道线检测的难点为寻找语义上的线，而不是局限于表观存在的线 对于上图这类问题，基于传统图像处理的方法几乎无法实现检测，因此有了一些方法开始尝试一种最直接的深度学习方案——把车道线检测视为分割任务。虽然深度分割方法效果强于传统方法

点击上方 “ AI算法与图像处理 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 本文转载自：科研大匠 针对学位论文作假行为，8月26日，教育部发布了 《关于几起高校学位论文作假行为查处情况的通报》 (全文详见文末) ，除通报了复旦大学、电子科技大学和厦门大学等3起学位论文作假行为查处情况外。通报还要求 ： 各高校要 立即采取行动，全面 复核、排查近5年 （2015年8月1日—2020年7月31日） 授予博士、硕士学位的论文。 通报还要求： 各高校要抓紧收集分析新闻媒体曝光的学位论文抄袭、买卖、代写等作假行为处理案例， 面向所有研究生反复开展警示教育。 据不完全统计，目前 已有至少3所高校按照文件要求 ，发布了《关 于开 展研究生学位论文作假行为全面排查工作的通知》。 此外，最近，对于打击学位论文作假、加强导师和研究生管理方面， 教育部 出台了多份重磅文件。 9月22日，教育部、国家发改委、财政部三部门联合印发 《关于加快新时代研究生教育改革发展的意见》 （以下简称《意见》） ，《意见》明确提出： 将学位论文作假行为作为信用记录，纳入全国信用信息共享平台 。 进一步提高论文抽检比 ， 敢于让不合格的学生毕不了业，倒逼学生潜心治学。 近期还将出台《研究生导师指导行为准则》等。 详见： 重磅：学位论文作假将纳入信用记录！ 教育部：将给予导师决定硕博士能否毕业的自主权！ 重磅

点击上方 “ AI算法与图像处理 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 来源：Jack Cui 今年提出的 U^2-Net 显著性检测算法，刷爆了 reddit 和 twitter，号称是 2020 年「地表最强」的静态背景分割算法，可以看下效果： 你以为今天要讲分割？ 错！ U^2-Net 这两天又出 新活 ，在 U^2-Net 网络架构基础上，实现了 人物肖像画的生成 ，细节「完美」复刻。 我用自己的「歪脖子照」测试了下效果。 万年不变老规矩，继续手把手教学。 算法原理、环境搭建、效果实现， 一条龙服务 ，尽在下文！ 1 U^2-Net 受 U-Net 网络的启发，U^2-Net 也是一种类似编码-解码（Encoder-Decoder）的网络结构。 研究者在此基础上，提出了新型残差 U-block（ReSidual U-block, RSU），融合不同尺寸接受野的特征，以捕获更多不同尺度的上下文信息。 RSU 网络与现有卷积块的结构对比如下： 最右边的结构，就是 RSU-L，L 表示编码器中的层数，C_in、C_out 分别表示输入和输出通道，M 表示 RSU 内层通道数。 具体而言，RSU 主要有三个组成部件，分别是一个输入卷积层、一个高度为 L 的类 U-Net 对称编码器 - 解码器结构以及一个通过求和来融合局部和多尺度特征的残差连接。

👆 “ Python猫 ” ，一个值得加星标的 公众号 花下猫语： 二月来了，再过两天就是立春了，新的日子，新的气象，新的希望就要来临了。同学们，坚持住！如今之计是继续做好防护。今天给大家分享一篇文章，作者发布了一个库，可轻松给图片内的头像戴上口罩，推荐尝试！ 来源：Prodesire公众号 | 作者：Prodesire 前言 2019 年底开始蔓延的新型肺炎疫情牵动人心，作为个体，我们力所能及的就是尽量待在家中少出门。 看到一些朋友叫设计同学帮忙给自己的头像戴上口罩，作为技术人，心想一定还有更多人有这样的诉求，不如开发一个简单的程序来实现这个需求，也算是帮助设计姐姐减少工作量。 于是花了些时间，写了一个叫做 face-mask [1] 的命令行工具，能够轻松的给图片中的人像戴上口罩，而且口罩的方向和大小都是适应人脸的哦~ 使用 安装 face-mask 确保 Python 版本在 3.6 及以上 pip install face-mask 使用 face-mask 直接指定图片路径即可为图片中的人像戴上口罩，并会生成一个新的图片（额外有 -with-mask 后缀）： face-mask /path/to/face/picture 通过指定 --show 选项，还可以使用默认图片查看器打开新生成的图片： face-mask /path/to/face/picture --show

1 前言 2019 年底开始蔓延的新型肺炎疫情牵动人心，作为个体，我们力所能及的就是尽量待在家中少出门。 看到一些朋友叫设计同学帮忙给自己的头像戴上口罩，作为技术人，心想一定还有更多人有这样的诉求，不如开发一个简单的程序来实现这个需求，也算是帮助设计姐姐减少工作量。 于是花了些时间，写了一个叫做 face-mask [1] 的命令行工具，能够轻松的给图片中的人像戴上口罩，而且口罩的方向和大小都是适应人脸的哦~ 2 使用 安装 face-mask 确保 Python 版本在 3.6 及以上 pip install face-mask 使用 face-mask 直接指定图片路径即可为图片中的人像戴上口罩，并会生成一个新的图片（额外有 -with-mask 后缀）： face-mask /path/to/face/picture 通过指定 --show 选项，还可以使用默认图片查看器打开新生成的图片： face-mask /path/to/face/picture --show 效果 给一个人戴上口罩 给多个人戴上口罩 给动漫人物戴上口罩 3 实现 思路 要想实现上面的效果，我们应该怎么做？不妨这么想： 首先是识别出人的鼻子(nose_bridge)和脸轮廓(chin) 通过脸轮廓确定出脸左点（chin_left_point）、脸底点（chin_bottom_point）和脸右点

1. 数据挖掘与机器学习开源框架 1.1 框架概述 1.1.1 AForge.NET 　　 AForge.NET 是一个专门为开发者和研究者基于C#框架设计的，他包括计算机视觉与人工智能，图像处理，神经网络，遗传算法，机器学习，模糊系统，机器人控制等领域。这个框架由一系列的类库组成。主要包括有： AForge.Imaging —— 一些日常的图像处理和过滤器 AForge.Vision —— 计算机视觉应用类库 AForge.Neuro —— 神经网络计算库AForge.Genetic -进化算法编程库 AForge.MachineLearning —— 机器学习类库 AForge.Robotics —— 提供一些机器学习的工具类库 AForge.Video —— 一系列的视频处理类库 AForge.Fuzzy —— 模糊推理系统类库 AForge.Controls—— 图像，三维，图表显示控件 来自： http://baike.haosou.com/doc/1786119-1888850.html 官方网站 ： http://www.aforgenet.com/ 1.1.2 Accord.NET Framework 　　 Accord.NET Framework是在AForge.NET基础上封装和进一步开发来的。功能也很强大，因为AForge.NET更注重与一些底层和广度