光流

金字塔LK光流法的三个假设 亮度恒定，即图像场景中目标的像素在帧间运动时外观上保持不变； 时间连续或者运动是”小运动“，即图像的运动随时间的变化比较缓慢； 空间一致，即一个场景中同一表面上邻近的点具有相似的运动。 光流法的原理 它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。 当人的眼睛观察运动物体时， 物体的景象在人眼的视网膜上形成一系列连续变化的图像， 这一系列连续变化的信息不断“流过”视网膜（即图像平面），好像一种光的“流”，故称之为光流（optical flow）。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。 从图片序列中近似得到不能直接得到的运动场 。运动场，其实就是物体在三维真实世界中的运动；光流场，是运动场在二维图像平面上（人的眼睛或者摄像头）的投影。 每张图像中每个像素的运动速度和运动方向 找出来就是光流场。第t帧的时候A点的位置是(x 1 , y 1 )，那么我们在第t+1帧的时候再找到A点，假如它的位置是(x 2 ,y 2 )，那么我们就可以确定A点的运动了：(u x , v y ) = (x 2 , y 2 ) - (x 1 ,y 1 )。 流程图

文献 概述 研究内容 数据集 年份 运动物体检测内容 Learning Motion Patterns in Videos 学习视频中的运动模式,建立运动模式网络输入图像光流图输出视频中运动的物体，即使相机是移动的 运动相机检测运动物体 DAVIS 2017 Learning Features by Watching Objects Move 我们在视频中使用无监督的基于模式的分割来获取片段，我们将其用作“伪地真相”来训练一个卷积网络从一个帧中分割对象 运动物体检测 Optical Flow in Mostly Rigid Scenes 自然场景的光流是观察者运动和物体独立运动的结合，现有的算法通常侧重于在纯静态世界或一般无约束场景的光流的假设下恢复运动和结构。此文章从外观和物理约束中对移动对象进行显式的分割，在静态区域，我们利用强大的约束条件，在多个帧上联合估计摄像机的运动和场景的三维结构。https://www.youtube.com/watch?v=N7a3AZEi-c4视频 光流法估计运动物体 KITTI CVPR2017 MODNet: Moving Object Detection Network with Motion and Appearance for Autonomous Driving 无人驾驶中的目标检测。提出了一种新的多任务学习系统，它结合了外观和运动提示

1. 百度百科解释光流场 : "光流场，它是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。 所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息" 2.运动场 下面是针孔相机模型,随着3D点在空间中运动,相应的图像点也在移动.运动场由图像中所有图像点的运动矢量组成 这样,我们回想SLAM14讲的内容:Puv=KPc 假设相机描绘的是动态场景,现在将上式对时间求导,可以得到: 这里 就是我们说的运动场,向量u取决于图像上的2d坐标和时间t. 这里 是相应的3D运动,其与运动场的关系是: 其中,M是一个2*3的矩阵. 这就代表着,对于一个特定的图像点上, 运动场 相对于 位于M的零空间中的3D运动 是不变的. 例如，在 针孔相机 的情况下， 无法在运动场中检测到所有指向焦点或从相机焦点发出的3D运动分量 . 3.运动场与光流场的关系: 运动场是理想的构造,描述了2D-3D之间的运动关系. 但实际上,只能基于对图像数据的测量来近似真实的运动场. 问题在于，在大多数情况下，每个图像点都有一个单独的运动，因此必须通过 对图像数据 的 邻域操作 来局部测量 。 结果，无法为某些类型的邻域确定正确的运动场，而是通常被称为 光流 的近似值 总之, 不能正确测量所有像点的运动场，故 光流是运动场的近似值 。

写在前面 原始视频(30fps) 补帧后的视频(240fps) 　　本文是博主在做实验的过程中使用到的方法，刚好也做为了本科毕设的翻译文章，现在把它搬运到博客上来，因为觉得这篇文章的思路真的不错。 　　这篇文章的简要思路：整个网络由两个U-Net构成，第一个U-Net负责计算光流，第二个U-Net负责矫正光流（有点借鉴了残差的意思），从而对视频进行补帧。 　　参考资料： 原文: Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation ( https://arxiv.org/abs/1712.00080 ) 代码: https://github.com/avinashpaliwal/Super-SloMo 　　 转载请注明出处，谢谢。 　　 ＰＳ：文章有些内容涉及到公式，不方便搬运，所以采用了图片的方式。 摘要 　　在给定两个连续帧的情况下，视频插值的目标是生成中间帧，形成时空相干的视频序列。大多数现有的视频插值方法都集中在单帧插值上，我们提出了一种端到端的卷积神经网络，用于任意多帧的视频插值，该网络中的运动解释和遮挡推理是联合建模的。我们首先使用U-Net结构来计算相邻输入图像之间的双向光流。然后，在每个时间步长上对这些光流进行线性拟合