vcr

短视频特效“耍花招”:线上投篮、摆摊,让画中人摇摆,浅谈腾讯微视的AR基建...

孤人 提交于 2020-12-30 16:55:07
出品 | AI科技大本营 魔性的背景音乐、酷炫的AR特效、多元的内容题材,让大众欲罢不能的短视频App正在成为内容生产和传播主要渠道之一。 而短视频平台为了抢夺用户,正在通过各种方式提升用户体验。其中,AR特效打破虚拟与真实的界线,带来丰富的娱乐性,再度提升了短视频的体验。结合人脸识别技术,AR特效相机可以在人脸上添加各种萌萌的动物挂件,与此同时,AR特效功能还会匹配相应的背景音乐,从而吸引用户生成有趣生动的AR内容。 腾讯微视作为一款时下热门的短视频软件之一,对于创意玩法应用也有诸多有趣的探索。 最近, 他们推出了“AR投篮机”,在微视APP内搜索“AR投篮” , 点击体验后,手机屏幕会出现一个投篮的小游戏,点开始就能投篮。除了AR投篮机,腾讯微视此前还推出了摆摊、熊出没等有趣的特效。 更重要的是,从微视引入的AR特效功能出发,也可以一窥腾讯在AR前沿技术上的布局。 这些AR特效背后的核心技术 是由腾讯微视光流团队和视频理解团队研发的一整套AR技术基建, 具体包括6自由度定位与跟踪、语义分割、物体检测等,以及集成物理引擎、渲染引擎骨骼绑定及驱动等技术。 当然,在开发具体AR特效时,以上相关AR算法都被集成到一个SDK,每个具体技术的都可以进行类似模块化组合,有效加速新能力的接入速度。在玩法设计上,微视将底层的能力统一封装打包制作成针对设计师的可图形化操作工具

大佬云集!百度NLP-ERNIE团队招聘算法小伙伴啦!

戏子无情 提交于 2020-11-19 02:52:16
来百度NLP-文心(ERNIE)团队做 最强 的预训练,发 最好 的 paper,支持 最核心 的业务(搜索、广告),做三项全能的 NLP 弄潮儿。 我们是负责百度NLP语义理解技术与平台文心(ERNIE) 研发团队。 ERNIE 致力于预训练语义理解技术研发与应用,提升NLP任务效果,深度支持百度核心业务线。 近一年来,文心( ERNIE )取得多项荣誉: 2019年12月,我们首次突破 90 分大关登顶通用语言理解评估基准GLUE; 2020年1月,我们提出的预训练语言生成技术 ERNIE -GEN 在多个语言生成任务取得 SOTA; 2020年3月,我们在 SemEval-2020 上取得了5项世界冠军; 2020年7月,我们提出的多模态语义理解技术 ERNIE -ViL登顶视觉常识推理权威榜单VCR; 2020年7月9日,我们荣获2020世界人工智能大会最高奖。 在这里,你可以利用中国自主研发的 飞桨 ( PaddlePaddle )深度学习平台,进行高效的多机多卡训练,千亿级别的数据等待你的挖掘。这里有良好的团队氛围和资深、耐心的指导人带你探索新一代NLP技术。在这里,我们在使用业界领先的预训练语言理解技术提升真实工业场景的应用效果。 现在,我们在招人。 欢迎应届毕业 1~2 年的同学(社招)投递简历 (校招同学也可以转简历喔), base 北京 。 工作职责

###好好好##BERT新转变:面向视觉基础进行预训练| NeurIPS 2019论文解读

£可爱£侵袭症+ 提交于 2020-10-01 23:47:14
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 论文作者: Jiasen Lu, Dhruv Batra, Devi Parikh, Stefan Lee(佐治亚理工学院、俄勒冈州立大学、Facebook AI Research) 点此进入 “论文地址” 摘要 本文提出ViLBERT(Vision-and-Language BERT),该模型学习图像内容和自然语言的无任务偏好的联合表征。ViLBERT在BERT的基础上扩展为多模态双流模型,在各自的流中处理图像和文本输入,这两个流通过共注意力transformer层进行交互。该模型在Conceptual Captions数据集上进行预训练,再将其迁移应用到多个视觉-语言任务:视觉问答,视觉常识推理,指示表达(referring expressions)和基于字幕的图像检索。ViLBERT应用到下游任务时仅需对基础架构进行少量添加。实验结果表明本文的ViLBERT在4个下游任务中显著优于面向特定任务的最先进模型。 ViLBERT代表了一种转向:从将学习视觉和语言之间的基础知识仅作为任务训练的一部分,转向将视觉基础知识作为一种可预训练和可迁移的能力。 介绍 视觉理解任务包括通过在图像

重磅!百度多模态模型ERNIE-ViL刷新5项任务纪录,登顶权威榜单VCR

被刻印的时光 ゝ 提交于 2020-08-12 06:38:10
机器之心报道 机器之心编辑部 近日,百度在多模态语义理解领域取得突破,提出知识增强视觉-语言预训练模型 ERNIE -ViL,首次将场景图(Scene Graph)知识融入多模态预训练,在 5 项多模态任务上刷新世界最好效果,并在多模态领域权威榜单 VCR 上超越微软、谷歌、Facebook 等机构,登顶榜首。此次突破充分借助 飞桨 深度学习平台分布式训练领先优势。据机器之心了解,基于 飞桨 实现的 ERNIE -ViL 模型也将于近期开源。 多模态语义理解是人工智能领域重要研究方向之一,如何让机器像人类一样具备理解和思考的能力,需要融合语言、语音、视觉等多模态的信息。 近年来,视觉、语言、语音等单模态语义理解技术取得了重大进展。但更多的人工智能真实场景实质上同时涉及到多个模态的信息。例如,理想的人工智能助手需要根据语言、语音、动作等多模态的信息与人类进行交流,这就要求机器具备多模态语义理解能力。 近日,百度在该领域取得突破,提出业界首个融合场景图知识的多模态预训练模型 ERNIE -ViL。百度研究者将场景图知识融入到视觉-语言模型的预训练过程,学习场景语义的联合表示,显著增强了跨模态的语义理解能力。 ERNIE -ViL 还在包括视觉常识推理、视觉问答、引用表达式理解、跨模态图像检索、跨模态文本检索等 5 项典型多模态任务中刷新了世界最好效果

百度人工智能技术文心(ERNIE)摘得2020世界人工智能大会最高奖项SAIL奖

末鹿安然 提交于 2020-07-29 02:36:01
7月9日,2020世界人工智能大会(WAIC)正式开幕,大会颁布最高奖项SAIL奖(Super AI Leader,卓越人工智能引领者),百度文心(ERNIE)知识增强语义理解技术与平台获奖,百度技术委员会主席吴华上台领奖。 百度文心(ERNIE)获得SAIL奖百度技术委员会主席吴华(左四)领奖 SAIL奖是世界人工智能大会最高荣誉奖项 ,主要激励全球范围内在人工智能领域做出的方向性技术突破和应用创新,正在或将要改变未来生活的人工智能项目。本届SAIL奖共吸引来自中国、德国、美国、以色列、新加坡等多国的800个项目参与角逐,包括亚马逊、IBM、百度、腾讯、华为等头部企业项目,以及前沿的国内外科研创新、场景应用类项目。 本次获奖,也是 百度 ERNIE 首次以中文名“文心”亮相 。“文心”出自中国南朝文学家刘勰的《文心雕龙·序志》,原指用雕镂龙纹那样精细的功夫研究文字的内涵和魅力,百度借此表示用心做语义理解的决心。 自然语言处理(NLP)被称为人工智能皇冠上的一颗明珠,自然语言理解是其重要研究方向之一,在该领域的技术突破对于机器认知智能发展至关重要。文心( ERNIE )则是一个取得世界级突破的语义理解技术与平台,它 依托于百度的深度学习平台 飞桨 打造 ,将机器理解语言的水平提升到一个新的高度,为计算机带来了认知智能领域的巨大跨域。 文心( ERNIE )的核心技术优势在于

Testing rate-limited external API calls with VCR and RSpec

孤街醉人 提交于 2019-12-24 14:50:12
问题 In my Rails project, I'm using VCR and RSpec to test HTTP interactions against an external REST web service that only allows calls to it once per second . What this means so far is that I end up running my test suite until it fails due to a "number of calls exceeded" error from the web service. At that stage though, at least some cassettes get recorded, so I just continually run the test suite until eventually I get them all recorded and the suite can run using only cassettes (my default

Filtering sensitive data with VCR

倾然丶 夕夏残阳落幕 提交于 2019-12-21 03:29:10
问题 I'm using VCR gem to record http interactions and replay them in future. I want to filter-out my actual password value in the uri request. Here's sample of what the uri looks like: http://services.somesite.com/Services.asmx/Cabins Username=long&Password=john&StartDate=03%2F22%2F2012&EndDate=03%2F29%2F2012 Though an explanation is provided here, I'm still not sure how to do it after a few attempts myself: https://www.relishapp.com/myronmarston/vcr/v/2-0-0/docs/configuration/filter-sensitive

VCR BadAlias error when used with Cucumber tag

梦想的初衷 提交于 2019-12-10 22:23:08
问题 I have to feature steps @vcr Given A @vcr Given B and its definitions: Given /^A$/ do a_method_that_makes_a_request end Given /^B$/ do a_method_that_makes_a_request end This fail with: Unknown alias: 70305756847740 (Psych::BadAlias) The number changes. But when I did this: # Feature step Given B # Step definition Given /^B$/ do VCR.use_cassette 'a_cassette' do a_method_that_makes_a_request end end It works. Can avoid this patch to use @vcr tag? This is my config: # features/support/vcr_setup

vcr with capybara-webkit

匆匆过客 提交于 2019-12-04 08:26:21
问题 I'm using capybara-webkit to test integration with a third party website (I need javascript). I want to use vcr to record requests made during the integration test but capybara-webkit doesn't go over net http so vcr is unable to record them. How would I go about writing an adaptor for vcr that would allow me to record the reqeusts? 回答1: Unfortunately, VCR is very much incompatible with capybara-webkit. The fact is that capybara webkit is using webkit, which is in c. Webmock and Fakeweb, which

Filtering sensitive data with VCR

折月煮酒 提交于 2019-12-03 11:24:48
I'm using VCR gem to record http interactions and replay them in future. I want to filter-out my actual password value in the uri request. Here's sample of what the uri looks like: http://services.somesite.com/Services.asmx/Cabins Username=long&Password=john&StartDate=03%2F22%2F2012&EndDate=03%2F29%2F2012 Though an explanation is provided here, I'm still not sure how to do it after a few attempts myself: https://www.relishapp.com/myronmarston/vcr/v/2-0-0/docs/configuration/filter-sensitive-data Any help would be appreciated. VCR.configure do |c| c.filter_sensitive_data("<SOMESITE_PASSWORD>")