深度学习

短视频特效“耍花招”:线上投篮、摆摊,让画中人摇摆,浅谈腾讯微视的AR基建...

孤人 提交于 2020-12-30 16:55:07
出品 | AI科技大本营 魔性的背景音乐、酷炫的AR特效、多元的内容题材,让大众欲罢不能的短视频App正在成为内容生产和传播主要渠道之一。 而短视频平台为了抢夺用户,正在通过各种方式提升用户体验。其中,AR特效打破虚拟与真实的界线,带来丰富的娱乐性,再度提升了短视频的体验。结合人脸识别技术,AR特效相机可以在人脸上添加各种萌萌的动物挂件,与此同时,AR特效功能还会匹配相应的背景音乐,从而吸引用户生成有趣生动的AR内容。 腾讯微视作为一款时下热门的短视频软件之一,对于创意玩法应用也有诸多有趣的探索。 最近, 他们推出了“AR投篮机”,在微视APP内搜索“AR投篮” , 点击体验后,手机屏幕会出现一个投篮的小游戏,点开始就能投篮。除了AR投篮机,腾讯微视此前还推出了摆摊、熊出没等有趣的特效。 更重要的是,从微视引入的AR特效功能出发,也可以一窥腾讯在AR前沿技术上的布局。 这些AR特效背后的核心技术 是由腾讯微视光流团队和视频理解团队研发的一整套AR技术基建, 具体包括6自由度定位与跟踪、语义分割、物体检测等,以及集成物理引擎、渲染引擎骨骼绑定及驱动等技术。 当然,在开发具体AR特效时,以上相关AR算法都被集成到一个SDK,每个具体技术的都可以进行类似模块化组合,有效加速新能力的接入速度。在玩法设计上,微视将底层的能力统一封装打包制作成针对设计师的可图形化操作工具

基于三维点云场景的语义及实例分割:RandLA-Net和3D-BoNet

可紊 提交于 2020-12-29 14:03:58
本文整理自牛津大学的杨波和胡庆拥在深蓝学院的线上公开课论文演讲。两位作者都是来自牛津大学的博士生,RandLA-Net和3D-BoNet分别发表在CVPR20和NeurIPS19上,两份工作都具有非常大的贡献。前者着力于大规模场景的点云语义分割,后者着力于点云实例分割的速度和精度的平衡。 本报告分成了4个部分,作者先是介绍了深度学习在点云领域的相关背景,然后由RandLA-Net一作胡博士介绍其在大规模点云语义场景分割的工作,接着由3D-BoNet的一作杨博士介绍其在点云实例分割的工作,最后作者将对点云分割的领域做一个未来展望。 点云分割一直是点云研究领域一个很重要的分支,它在SLAM、自动驾驶、机器人等领域都有着重要的应用。点云相比于2D图像,其有着更丰富的3D空间信息,对物体的表面描述也更接近实际。然而,点云的无序的特点以及缺乏直观的拓扑结构,以及大场景下的爆炸般的点云数据量,一直是点云的核心问题。点云的特征表示、数据处理、算法结构都是研究的热门方向。深度学习已经在2D图像领域遍地开花,而在点云领域,尤其是点云分割领域,还有着很长的路要走。 以下是公开课的相关内容>> 文章大约5200字,预计阅读需23分钟 << 01 深度学习在点云领域的背景 MASK RCNN在2D图像分割领域算是一个非常有突破性的工作,在图片或者视频的每一帧上,车、人等物体,都被精确的分割出来

读论文:Seeing isn’t Believing: Towards More Robust Adversarial Attack Against Real World Object Detecto

邮差的信 提交于 2020-12-29 13:54:56
读论文:Seeing isn’t Believing: Towards More Robust Adversarial Attack Against Real World Object Detectors — CCS2019 【 说真的,这是我第一次写文章,完全不会用啊,大哥!!!!!! 】 Part Ⅰ: Abstract & Introduction 这篇论文主要讲的是 物理世界对抗样本,在开头Abstract 和 Introduction部分,作者主要为了阐明攻击 object detector( in real world ) 和 攻击 images classifier( in digital world )的区别,也论证了在物理层面上实现对抗样本的攻击是更难以实现的,因为有着诸多的约束: 1.target object 与 detector的 相对位置(角度、距离等)会时刻发生改变 2target object 所在的环境条件(背景、光线等)会时刻发生变化 3.受攻击的模型是 object detector,是dynamic,不像images detector,是static。 4.detector在作出分类预测之前,还需要检测whether there is an object。 针对以上所述,作者提出了两种AEs Part Ⅱ:Attack approach –

人工智能发展与模型定制化趋势

戏子无情 提交于 2020-12-29 07:46:03
  人工智能和机器学习概念目前在各种场合被频频提到,移动互联网时代后的未来被预测为人工智能时代,那么人工智能的前世今生是怎样的,到底会给我们的未来带来什么呢?为了弄清这个问题,我们可以简单回顾一下人工智能的发展历史。   其实,人工智能可以追溯到很久以前的年代。在图灵的时代,科学家就试图通过模拟人的意识和思维来处理人类才能完成的复杂任务,并提出图灵测试检测机器是否具有真正的“智慧”。随着计算机被发明,信息存储和处理问题被解决,人工智能有了落地的可能。1956年在达特茅斯会议上,人工智能的概念被明斯基明确提出,使用的正是由神经学家提出的神经网络数据模型, 并在此次完善了匹配的编程语言,将实现推向更具有现实意义的发展方向。   神经网络本质是神经元之间的作用与反馈,是人类思维的基础,模拟大脑是长时间以来人工智能的主要思路。两年后,计算机科学家罗森布拉特提出感知机的概念,即两层神经元组成的最简单的神经网络,并用来进行数据二分类。科学界迎来了人工智能的第一缕曙光,更多人开始关注并投身于此。然而人工智能并没有变得大热,明斯基在1969年在其著作中证明感知器只能处理线性分类问题,连简单的异或问题都无法正确分类。这个问题因而成为那一代人工智能领域学者绕不开的噩梦。人工智能学科随后一度作为最冷门的学科陷入了长达20年的停滞。   直到1986年,杰弗里·辛顿提出反向传播算法

「Python爬虫系列讲解」2. Python基础知识大全初学

半世苍凉 提交于 2020-12-29 07:02:05
作者 :荣仔!最靓的仔! 专栏地址 : http://suo.im/5Rh1z1 注意:本文涉及到的知识点太多,建议初学者耐心看完! 本文目录 1 Python简介 1.1 Python的特点 Python是Guido Van Rossum在1989年开发的一种脚本解释语言,是ABC语言的一种继承。由于作者是Monty Python喜剧团的一名爱好者,故将其命名为Python(蟒蛇) Python 作为当下一种热门语言,具有以下 特点 : 语法清晰,代码友好,易读。 应用广泛,具有大量的第三方库(尤其是机器学习、人工智能相关库)支持。 Python可移植性强,易于操作各种存储数据的文本文件和数据库。 Python是一种面向对象语言,支持开源思想。 根据Tiobe编程语言最新排行榜(部分),其中Python排名第三,并且随着大数据、数据分析、深度学习、人工智能的迅速发展,Python收到的关注程度越来越高。 1.2 安装及第三方库导入过程 利用Python编程之前,首先需要安装Python软件:包括搭建Python环境、学会安装Python第三方库等。 搭建好Python环境之后是这个样子的(同时可以打印输出进行进一步的测试)。 当编写大段代码或自定义函数时,在command命令行中编写是不太现实的,因此可以进一步选择合适的编译器进行编译,我在这里用的是JetBrains

深入理解1*1卷积作用

时光毁灭记忆、已成空白 提交于 2020-12-28 09:32:51
1 . 前言 1*1 卷积在很多模型结构中都使用过, 例如最出名的 Inception 网络 其主要目的就是 进行一次 1 × 1 的卷积来减少特征映射的深度. 在实际操作中, 对于1*1的卷积操作, 我们可以通过改变输出的out channel 来使得输出维度的变化,也就是 降维和升维 , 例如 112 * 112 * 3 经过一个一维卷积 当我们的out channel 设置为32时候, 输出为 112 * 112 * 32 。 2. 二维卷积过程概述 因为1*1的卷积也是一个二维卷积, 所以我们可以先了解一下 二维卷积 是如何操作的 还是以112 * 112 * 3 的图片为例: 在图中, 高度 宽度 都是 112, 深度为3 , 我们经过一个3 * 3 的卷积,步长为1, padding 为1, out channel 为 3 , 输出的图像还是 112 * 112 * 3, 具体计算的话可以自己画个5 5的图 过 3 3 的卷积来操作, 一般公式为 : 新维度 = (图片长 - 卷积核长 + 2 * padding )/ 步长 我们的卷积核的维度为 3 * 3 * 3(深度) , 最后一维和图片本身的深度相同 一次卷积的过程如下: 每一层的 112*112 和 对应的 卷积核的 3 * 3 进行卷积 每一个 channel卷积的结果进行 求和 最后加上偏置 , 就得到

全了!从Python入门到入魔

天涯浪子 提交于 2020-12-27 10:12:28
总被读者问到,我看完了python入门的书,后面就不知道要学什么了。今天就给你们整理全套入门到进阶的教程。 这套教程非常全面而且详细,从 Python入门 到 Python进阶 、 Django 、 Flask等Web框架以及爬虫、数据库、算法与数据结构 等方面均有涉及,几乎覆盖了Python 基础及进阶的方方面面。 让你学完之后能独立完成一个完整的项目。 简明Python入门教程 Python进阶教程 Django入门与实践 用 Flask 从零开始搭建网站 Linux操作系统 HTTP入门指南 MySQL数据库面试汇总 520道LeetCode算法刷题 245道Python面试题 现在以上全套教程和思维导图均可免费获取。 如何获取? 1. 识别并关注公众号「 秦子帅 」; 2. 在下面公众号后台回复关键字「 教程 」。 👆 长按上方二维码 2 秒 回复「 教程 」即可获取资料 额外福利 今天给大家分享一份 11 月刚刚出炉的《TensorFlow 2.0 深度学习算法实战》中文版教材。 所有的项目都是 基于TensorFlow 2.0实战。 获取方法 《TensorFlow 2.0 深度学习算法实战》中文版教材电子版 pdf 已经打包好,获取步骤如下: 1. 扫描下方二维码 2. 后台回复关键词: TF2 👆长按上方二维码 2 秒 回复「 TF2 」即可获取资料

python机器学习:决策树ID3、C4.5

爱⌒轻易说出口 提交于 2020-12-27 03:46:58
向AI转型的程序员都关注了这个号 👇👇👇 大数据挖掘DT机器学习 公众号: datayx 决策树又称为判定树,是运用于分类的一种树结构,其中的每个内部节点代表对某一属性的一次测试,每条边代表一个测试结果,叶节点代表某个类或类的分布。 决策树的决策过程需要从决策树的根节点开始,待测数据与决策树中的特征节点进行比较,并按照比较结果选择选择下一比较分支,直到叶子节点作为最终的决策结果。 决策树的学习过程 特征选择:从训练数据的特征中选择一个特征作为当前节点的分裂标准(特征选择的标准不同产生了不同的特征决策树算法)。 决策树生成:根据所选特征评估标准,从上至下递归地生成子节点,直到数据集不可分则停止决策树停止声场。 剪枝:决策树容易过拟合,需要剪枝来缩小树的结构和规模(包括预剪枝和后剪枝)。 实现决策树的算法包括ID3、C4.5算法等。 ID3算法 ID3算法是由Ross Quinlan提出的决策树的一种算法实现,以信息论为基础,以信息熵和信息增益为衡量标准,从而实现对数据的归纳分类。 ID3算法是建立在奥卡姆剃刀的基础上:越是小型的决策树越优于大的决策树(be simple简单理论)。 奥卡姆剃刀(Occam's Razor, Ockham's Razor),又称“奥坎的剃刀”,是由14世纪逻辑学家、圣方济各会修士奥卡姆的威廉(William of Occam,约1285年至1349年

浅谈分词算法(1)分词中的基本问题

耗尽温柔 提交于 2020-12-27 00:24:44
[TOC] #前言 分词或说切词是自然语言处理中一个经典且基础的问题,在平时的工作中也反复的接触到分词问题,用到了不同的模型,不同的方法应用在各个领域中,所以想对分词问题做一个系统的梳理。大多数分词问题主要是针对类似汉语、韩语、日语等,词语之间并没有天然的分割,而像英语等,句子中是带有天然的分割的。但是英语也会涉及到分词问题,比如实体识别、词性标注等内容。而本系列文章更多的是讨论汉语中的分词问题,首先我们从分词问题的基本出发,之后从传统的词典分词到将分词转为序列标注问题的分词,以及最新的结合深度学习的分词,基本按照时间顺序对分词模型可能用到的算法模型进行一步步尝试与介绍,所有代码我会放在自己的github上: xlturing 。 #目录 浅谈分词算法(1)分词中的基本问题 浅谈分词算法(2)基于词典的分词方法 浅谈分词算法(3)基于字的分词方法(HMM) 浅谈分词算法(4)基于字的分词方法(CRF) 浅谈分词算法(5)基于字的分词方法(LSTM) #分词中的基本问题 简单的讲,汉语自动分词就是让计算机在汉语文本中的词与词之间自动加上空格或其他边界标记。分词中涉及到三个基本问题:分词规范、歧义切分和未登录词的识别。 ##分词规范 我们从小学习汉语开始,基本顺序就是汉字->词语->句子->段落->篇章,而其中词是什么,什么是词语,这个问题看似有些莫名其妙

在数据科学方面,python和R有何区别?

前提是你 提交于 2020-12-25 09:11:14
  python和R都是当下比较流行的编程语言,拥有强大的生态系统和社区,受到大家的追捧和喜欢,那么在数据科学方面,python和R有何区别?我们来看看吧。   大多数深度学习研究都使用python完成的,因此Keras和PyTorch之类的工具具有python优先的开发,你可以在Keras的深度学习简介中了解这些主题。   python和R之上具有优势的另一个领域就是将模型部署到其他软件中,python是一种通用的编程语言,因此,如果您在使用python编写应用程序,包含基于python的模型的过程是无缝的。我们在python设计机器学习工作流中介绍了部署模型和构建python的数据工程管道。   python通常被认为是一种通用语言,具有易于理解的语法。   在R中进行大流的统计建模研究,有多种模型可供选择。R的另一个大窍门是使用Shiny轻松创建仪表板,对于没有太多技术经验的人来说,可以创建发布仪表板并进行分享。   R的功能在开发时考虑了统计学家的问题,从而赋予特定领域的优势,比如说数据可视化功能。   python最初是用于软件开发的编程语言,对于具有计算机科学或者软件开发的人员来说可以更容易使用,而且从其他语言过度到python要比R更加简单。 来源: oschina 链接: https://my.oschina.net/u/4408222/blog/4839636