前言 姿态估计,一直是近几年的 研究热点 。 它就是根据画面,捕捉人体的运动姿态,比如 2D 姿态估计: 再比如 3D 姿态估计: 看着好玩, 那这玩应有啥用呢 ? 自动驾驶 ,大家应该都不陌生,很多公司研究这个方向。 自动驾驶里,就用到了 人体行为识别 。 通过摄像头捕捉追踪人体的动作变化,根据肢体动作或变化角度判断人体动作行为,可用于无人车、机器人、视频监控等行为分析需求场景。 而这些的基础,就是人体的姿态估计。 再比如, 虚拟形象 。 通过 真人驱动 ,让虚拟形象具备类比真人的肢体动作,并支持与3D人脸特效、手势识别等功能结合应用,让虚拟形象更加灵活生动,可用于虚拟IP驱动、肢体驱动类游戏、远程授课或播报等场景。 姿态估计,无疑有着巨大的 应用价值 。 但今天,咱们说的这个算法,比上文提到的,还要酷炫一些! 它就是 FrankMocap。 FrankMocap FrankMocap 是港中文联合 Facebook AI 研究院提出的 3D 人体姿态和形状估计 算法 。 不仅仅是估计人体的运动姿态,甚至连 身体的形状 , 手部的动作 都可以一起计算出来。 算法很强大,能够从 单目视频 同时估计出 3D 人体和手部运动,在一块 GeForce RTX 2080 GPU 上能够达到 9.5 FPS。 缺点就是,速度有点慢,计算量较大,达到实时性有一定难度。 不过随着硬件的快速发展