深度学习

六种用于文本分类的开源预训练模型

拟墨画扇 提交于 2020-07-28 09:07:13
作者|PURVA HUILGOL 编译|VK 来源|Analytics Vidhya 介绍 我们正站在语言和机器的交汇处,这个话题我很感兴趣。机器能像莎士比亚一样写作吗?机器能提高我自己的写作能力吗?机器人能解释一句讽刺的话吗? 我肯定你以前问过这些问题。自然语言处理(NLP)也致力于回答这些问题,我必须说,在这个领域已经进行了突破性的研究,促使弥合人类和机器之间的鸿沟。 文本分类是自然语言处理的核心思想之一。如果一台机器能够区分名词和动词,或者它能够在客户的评论中检测到客户对产品的满意程度,我们可以将这种理解用于其他高级NLP任务。 这就是我们在文本分类方面看到很多研究的本质。迁移学习的出现可能促进加速研究。我们现在可以使用构建在一个巨大的数据集上的预训练的模型,并进行优化,以在另一个数据集上实现其他任务。 迁移学习和预训练模型有两大优势: 它降低了每次训练一个新的深度学习模型的成本 这些数据集符合行业公认的标准,因此预训练模型已经在质量方面得到了审查 你可以理解为什么经过预训练的模特会大受欢迎。我们已经看到像谷歌的BERT和OpenAI的GPT-2这样的模型真的很厉害。在这里中,我将介绍6种最先进的文本分类预训练模型。 我们将介绍的预训练模型: XLNet ERNIE Text-to-Text Transfer Transformer(T5) BPT NABoE

程序人生:程序员想要提升英文阅读能力怎么办?实用秘籍推荐!

你离开我真会死。 提交于 2020-07-28 08:53:38
我相信正在阅读这篇文章的你也努力挣扎于提升英文阅读能力,但是你的感受是英文阅读一直都提升不起来,改变极小或没有任何变化。随着全球化,程序员的我们也应该考虑学好英文,在获取信息上更有竞争力;有时会去查英文技术文档,想获取最原始的信息, 然英文阅读能力不够。 我也有同样的遭遇。 代码人生 6年后,我重拾英语,2018年底开始自学英语,期间经历过放弃、重新开始、写词汇学习工具等。到目前我的英文阅读能力提升不少,对英语学习已变成一个平和的态度,现在我更喜欢阅读英文内容。下面是我的这一年半来英语阅读提升的感受和实用经验,能够帮助你提升你的英文阅读能力,未来让阅读英文更轻松,在工作中能有不一样的优势。 心理准备 学习语言是一个过程,不能当作考试,心理上给自己2~3年的时间,也就是说在2-3年里,你时不时要阅读一些英文内容,一开始尽管很慢,但当你阅读你喜欢的技术文章、关注你喜欢的事物获取信息后,你就会得到有用的信息,获得信心,从而持续的阅读,然后将英文阅读变成习惯。2019年5-7月期间,我在medium上阅读大概5篇比较长的英文技术文档,读得很慢,但完成一篇阅读获取信息后感觉收获颇多,后还在组内做过深入分享,通过文章所学到的信息使得我对英文阅读增加了不少信心。 总之,不急于求成,日积月累,心理上有一个长时间的准备。 2/8原则 如果有2500 - 3000的词汇量,可以理解90%的日常英语会话

深度学习AI美颜之人脸自动美型算法

强颜欢笑 提交于 2020-07-28 05:33:09
本文在这里对人脸智能美型做个详解。 人脸智能美型包含如下两个部分: ①人脸轮廓自动调整 ②五官自动修正 人脸轮廓自动修正:对人脸大小,胖瘦进行自动调整,目前app中常用的瘦脸只是其中一个特例而已; 五官自动修正:包含眼睛大小自动调整,鼻子形状位置修正,眉毛位置修正以及嘴巴形状、大小和位置自动修正等等。App中常用的大眼和立体修鼻功能,也属于其中一个特例; 人脸智能美型和磨皮美白结合使用,就是所谓的智能美颜。 人脸智能美型算法逻辑如下: 1,构建平均脸 针对男女分别构建正脸平均脸 2 ,性别识别 这一步需要将用户的人像照片进行性别识别,根据识别结果分别选择男/女平均脸数据。 3 ,将用户照片人脸映射到平均脸 这一步主要根据用户照片人脸关键点和平均脸的人脸关键点,加上一定的映射算法将用户照片对齐到平均脸中,可以参考仿射变换等。 关键点可以使用图玩智能科技的人脸SDK 4 ,计算用户人脸和平均脸的距离D 此处计算规则可以使用欧氏距离等,距离D表示用户人脸到完美人脸的差。 距离的计算还需要参考人脸的旋转角度信息,根据人脸旋转角度对距离进行加权处理,以此来适应各种角度的用户人脸照片。 5 ,根据D对用户人脸进行不同程度的变形,得到智能美型结果 此处变形可以使用MLS、三角网格变形等等。 上述过程就是人脸自动美型的算法逻辑,对于不同的人像照片,会自动判断大眼矫正或者小眼矫正,瘦脸或者胖脸等等

三天后启幕!百余位知名AI学者齐聚,年度盛会免费注册通道在这里

只谈情不闲聊 提交于 2020-07-28 03:38:08
  扫码免费参加人工智能年度盛会   自 2009 年深度学习崛起以来,第三波人工智能浪潮席卷全球,推动了新一波技术革命。   在这波澜壮阔的 11 年,我们见证了技术突破、应用创新与产业变革。   技术上,深度学习首先带来计算机视觉、语音识别等领域的突破,让机器识别的准确率一步步突破人类水平;在应用上,深度学习、强化学习、联邦学习等学习范式在安防、游戏、金融等不同场景带来新的创新。人工智能技术,在这些领域由点到面的落地应用,逐步推动着整个产业的变革。   技术变革,需要不断的推陈出新。在这 11 年中,如果说前半期是深度学习的时代,那么近年来我们能够看到更多不同的概念继续推动这人工智能的发展:符号主义、因果关系、联邦学习,等等。   2020 年,是一个十年的结束,也是下一个十年的开始。   在未来的十年,人工智能技术将如何发展?如何推动 AI 技术在医疗、交通等领域的落地应用?如何构建 AI 基础设置、规范 AI 伦理,都是当前人工智能领域亟待解决的问题。   依托北京在人工智能领域的科研和人才优势,第二届北京智源大会将于 6 月 21-24 日线上开幕。   此届大会围绕技术、应用、基础设施等话题,广泛邀请国内外人工智能领域的顶级专家学者,探索人工智能前沿科技发展趋势,对人工智能基础研究发展现状及面临的机遇和挑战、人工智能技术未来发展的核心方向等话题展开分享与讨论

飞桨开发者技术专家计划PPDE重磅发布

安稳与你 提交于 2020-07-28 02:57:52
当下,人工智能技术发展日趋成熟,成为科技革命和产业变革的重要驱动力,人们的生活正在被AI影响着。这个520,AI也再次成为主角——在5月20日的“WAVE SUMMIT 2020”深度学习开发者峰会上,百度 飞桨 发布了PPDE( 飞桨 开发者技术专家)计划,旨在号召全球AI开发者与百度 飞桨 一起,携手共建繁荣开放的深度学习开源社区,用科技让复杂的世界变得更简单。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 源于产业实践的 飞桨 ,2016年正式开源,是全面开源开放、技术领先、功能完备的产业级深度学习平台。科学技术的发展,最关键是人。目前, 飞桨 已累计服务超过190万开发者。2019年底 IDC 发布的《中国深度学习平台市场份额调研》显示,在中国深度学习平台市场,百度 飞桨 是业界公认的功能完备的开源深度学习平台,与Google、Facebook 名列前三,领衔中国深度学习平台市场。 众所周知,一个良好的开源社区需要产品团队与开发者积极互动才能实现良性循环

【社招】1年工作经验,字节跳动算法面经

若如初见. 提交于 2020-07-27 22:46:19
作者 | Batman1234 整理 | NewBeeNLP 面试锦囊之面经分享系列,持续更新中 欢迎后台回复" 面试 "加入讨论组交流噢 写在前面 在某大厂做算法一年,本来安安稳稳还没想过跳槽,某天接到了猎头的电话说字节在招数据挖掘工程师,择日不如撞日那就去试一试呗。 一面 问贝叶斯网络的原理。 一些统计学的原理比如t-test, AUC curve的意义是啥,为什么要用AUC去衡量机器学习模型的好坏。 问了一道题:假设现在有一个函数random(), n为未知数,1/n的概率返回0,2/n的概率返回1,写一个newRandom(),让返回0,1的概率各为1/2。medium。 二面 问了adaboost的原理,模型的权重以及数据的权重各自有什么意义,写出adaboost的伪代码。 CART树的原理,和ID3以及C4.5有什么区别,回归树与分类树有什么区别。 写出逻辑回归反向传播的伪代码。 算法题:现在有一个每行每列递增的2D数列,比如[[1,2,3,4], [2,3,4,5], [4,5,6,7]],在O(nm)的时间复杂度返回最小的k个数。hard。 三面 主要面C语言基础知识。 实现memcpy. 如何在main函数之外之行一个函数。 这样声明变量有没有问题:int a[10000000]. static修饰符有什么用?如果不加会出现什么后果? 四面 主要考察机器学习。

【深度学习】百度飞桨PaddlePaddle-CV疫情特辑课程学习心得

只愿长相守 提交于 2020-07-27 22:38:04
最近参加了百度AI Studio的深度学习7日入门-CV疫情特辑课程,通过课程来入手学习深度学习框架-PaddlePaddle,同时学习深度学习的相关网络模型,本博客分享在学习过程中的一些心得。 1、通过对该课程的学习,首先了解了PaddlePaddle深度学习框架,然后在本地进行了安装使用;飞桨本地安装可参考飞桨官网:https://www.paddlepaddle.org.cn/documentation/docs/zh/install/index_cn.html 2、通过第一课学习到了百度的Pyecharts,可以进行各种类型的可视化图表绘制,Pycharts Api可参考:https://pyecharts.org/#/zh-cn/;本课程学会了如何爬取新冠肺炎疫情的全国数据,通过request和re模块进行数据爬取。 3、第二课通过手势识别项目,正式进入深度学习框架的使用,采用了一个DNN全连接神经网络进行手势识别图片的训练和预测,通过不断地调参和网络深度变化,最终提交了项目。 4、第三课通过车牌识别项目,学习了CNN神经网络,避免了DNN全连接带来的参数爆炸的问题,同时CNN利用了图片的位置信息,CNN采用了卷积层、池化层,能够更快更好的训练图片,从而更好的进行图片识别和分类。该项目采用了最经典的LeNet神经网络模型。 5、第四课通过口罩识别项目

机器学习PAI 2020-5 月刊

感情迁移 提交于 2020-07-27 22:08:45
【功能发布】 【新功能】Studio上线PAI-TF CPU版本 介绍:客户可以使用PAI-TF在CPU环境下开发并运行,以前只支持GPU版本。 适用客户:深度学习相关客户 文档链接: https://help.aliyun.com/document_detail/154184.html 【新功能】Studio上线Bert-Embedding 介绍:客户可以基于Bert算法生成文本向量,可以应用于文本分类等场景 适用客户:文本分析相关需求客户 文档链接: https://help.aliyun.com/document_detail/42747.html 【新功能】Studio上线GraphSage 介绍:图神经网络是目前深度学习热点的发展方向,PAI团队在前不久开源了graph-learn框架( https://github.com/alibaba/g 来源: oschina 链接: https://my.oschina.net/u/4309507/blog/4310524

WAIC开发者日:AI落地时代来临,行业专家「AI基础设施」经验谈

眉间皱痕 提交于 2020-07-27 15:35:20
  近年来,人工智能技术发展迅速,这一技术也将成为未来社会生产的基本要素。但真正的开发应用会涉及到数据、环境配置、模型部署等一系列的问题,因此开发框架、平台以及硬件作为人工智能基础设施中的基础工具,是人工智能技术产业商业化的重要根基。   如何更好地构建包括硬件、平台、框架在内的AI基础设施,满足当前人工智能落地应用的需求?这已经成为了社区内急需探讨的主题。   7月11日上午,2020 WAIC云端峰会开发者日「构建AI基础设施」分论坛成功举办,8位来自华为、腾讯、竹间智能、京东云等人工智能领域知名企业的行业专家,共同对这一话题进行了深入探讨。    竹间智能创始人兼CEO简仁贤 为大家分享了「NLP落地之道」,他指出自然语言处理领域还存在着许多的技术落地难点,比如样本/零样本的学习、预训练模型的压缩、知识&常识引入NLP等挑战,但这一领域存在着相当广阔的前景。   7月11日上午,2020 WAIC云端峰会开发者日「构建AI基础设施」分论坛成功举办,8位来自华为、腾讯、竹间智能、京东云等人工智能领域知名企业的行业专家,共同对这一话题进行了深入探讨。   简仁贤表示,在疫情爆发之后,更多的企业用户开始在更多场景采用NLP技术,NLP的产业会比视觉、语音产业规模更大,在未来的10年或20年里,NLP会是人类交互操作系统的核心技术。    深度学习框架作为人工智能基础设施的重要构成

当智能体具备生命体征时,超级人工智能将给人类带来什么?

时光毁灭记忆、已成空白 提交于 2020-07-27 15:19:13
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 编者按:本文来自微信公众号“新智元”(ID:AI_era),编辑:雅新,36氪经授权发布。 来源:techtalks 【新智元导读】通用人工智能一直是人们对智能体未来发展前景的展望。当人工智能有类人的生命体征,智力和意识的特征时,我们是否思考过如何与之互动,去认知和接受它们。 你是否对拔下机器人的插头或关闭人工智能算法而感到难过?暂时不会。 但是,当我们的计算机变得比我们更聪明时,我们又如何呢? 关于通用人工智能后果的辩论几乎与AI的历史一样悠久。 大多数讨论都将人工智能的未来描述为像终结者那样的启示录或像Wall-E那样的乌托邦。 《深度学习基础指南》– Springer AI奇点何时会出现? 最先将「奇点」这一概念引入人工智能领域的是美国的未来学家 Raymond Kurzweil。在他的《奇点临近》《人工智能的未来》两本书中,将二者结合,他用「奇点」作为隐喻,描述的是,当人工智能的能力超越人类的某个时空阶段。 奇异性是有关通用AI的讨论中经常提到的一个术语,但我们在奇异性方面存在很多困惑和分歧。大多数科学家和哲学家都认为关键的一点是,这是AI系统变得比我们更智能的转折点。 AI奇点出现的的另一个重要方面是时间和速度:AI系统将达到可以不断重复和加速地自我完善的程度。