自然语言处理

Google 团队提出的 NLP 经典之作 Transformer 由 Ashish Vaswani 等人在 2017 年发表的论文《Attention Is All You Need》 中提出。但由于模型参数量过大，该模型训练困难、部署不方便，研究人员一直在探究如何优化 Transformer。近日，来自华盛顿大学和 FAIR 的 Sachin Mehta 等人提出了一个网络结构较深但轻量级的 Transformer——DeLighT。 论文链接： https:// arxiv.org/abs/2008.0062 3 代码链接： https:// github.com/sacmehta/del ight 论文简介 在这篇文章中，作者提出了一个网络较深但轻量级的 Transformer——DeLighT，与之前基于 transformer 的模型相比，它的参数更少，但性能相当甚至更好。 DeLighT 能够更高效地分配参数，主要表现在：1）每个 Transformer 块使用结构较深但参数较少的 DExTra；2）在所有块上使用逐块缩放（block-wise scaling），使靠近输入的 DeLighT 块比较浅且窄，靠近输出的 DeLighT 块比较宽且深。总的来说，DeLighT 的网络深度是标准 transformer 模型的 2.5 到 4 倍，但参数量和计算量都更少。

现如今市面上已经出现了很多数据可视化工具软件了，但具体使用怎么样呢？大家都还不知道，小编统计了一下使用过数据可视化工具软件的用户，给这些数据可视化工具软件排个名。 1、Smartbi 也是一款国产可视化工具软件，由广州的思迈特公司开发，这家公司本是做Excel插件起家，后来进入到BI领域。Smartbi是国内老牌BI 厂商，企业级商业智能应用平台，经过多年的持续发展，凝聚了多年的商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求，产品和技术实力毋庸置疑。知名度也还是不错，功能也比较全，不如永洪能宣传，但比永洪的产品成熟度高，整体来说比较实用，性价比高。 2、Tableau 在可视化能力上比较突出，可视化效果不华丽但很出色，而且给用户提供了非常自由的图表制作能力，如果会写代码有时间富裕，基本可以做出绝大多数能想到的图表。总体来说，Tableau具有丰富的数据源支持，灵活的可视化功能和强大的数据图表制作能力。但在国内拥有众多可选择的可视化软件情况下，个人认为没必要选择tableau。 3、Power BI 来自大名鼎鼎的微软，现已经是Gartner魔力象限中具有竞争力的BI软件。Power BI目前主推的是个人分析，适合短平快的分析需求，而且在企业级部署和应用上缺少完善的解决方案，在安全性、性能、服务上则没有很好的竞争力。Power BI比较适合数据分析师用以锦上添花。

　　 　　作者 | 彩娴、青暮、宝尚 　　编辑 | 大鑫 　　2016年，图灵奖得主Yann LeCun 表示，未来几年的挑战是让机器学会从原始的、没有标签的数据中学习知识，即无监督学习。 Yann LeCun提出，无监督学习是人工智能的下一站。 　　2020年， 图灵奖得主Geoffrey E. Hinton指出，人类无法完全依赖有监督学习的方法完成所有神经元训练，而需要更多来自于无监督学习的帮助。 　　目前无监督学习技术备受关注，无监督表达学习技术在自然语言处理领域进展神速，OpenAI 近期发布的包含1700亿参数的GPT-3预训练模型吸引了全世界的目光；无监督图嵌入表达技术在图学习领域取得了不俗的成果；自监督学习技术在视觉领域近期也有较大的突破，Geoffrey E. Hinton 等谷歌研究者的最新研究一次就把无监督学习的指标提升了 7-10%，甚至可以媲美有监督学习的效果。 　　但我们同时也看到，对GPT-3的质疑声一直不断，无监督学习技术在更多的领域尚待突破。 　　2020年8月22日， 中国计算机学会青年计算机科技论坛深圳分论坛主办大湾区IT创新论坛“无监督学习，如何成为人工智能的下一站？”。 　　 　　本次论坛吸引了超过1千人通过线下会场、腾讯会议及B站全程参与，包括涉及表达学习、自然语言处理、计算机视觉分析、数据挖掘、金融大数据处理等众多相关领域的青年学者

这是阿三的第 131 期分享 作者 | 阿三 首发 | 程序员遇见GitHub 大家好，我是阿三，今天给大家带来的是Google colab上非常出名的一些计算机视觉项目的notebook。 一. Google Colab 这些项目都是依托与Google的Python在线编程的免费服务Colab，没有使用过的同学也可以去了解一下这个。 这些notebooks包含计算机视觉的很多方面，像目标检测，分类等等 每个项目都有文字教程与源代码 代码还可以直接在colab中运行，想要了解相关项目的同学不容错过。 网站地址： https://www. qblocks.cloud/creators/ computer-vision-google-colab-notebooks 推荐阅读： 我教你如何读博！ 牛逼！轻松高效处理文本数据神器 B站强化学习大结局！ 如此神器，得之可得顶会！ 兄弟们！神经网络画图，有它不愁啊 太赞了！东北大学朱靖波，肖桐团队开源《机器翻译：统计建模与深度学习方法》 当年毕业答辩！遗憾没有它... 已开源！所有李航老师《统计学习方法》代码实现 这个男人，惊为天人！手推PRML！ 它来了！《深度学习》(花书) 数学推导、原理剖析与代码实现 你们心心念念的MIT教授Gilbert Strang线性代数彩板笔记！强烈推荐！ GitHub超过9800star！学习Pytorch

受经贸摩擦与新冠肺炎的双重影响，全球商品贸易状况不容乐观，特别是中国的电子制造业市场。在电子行业，电子招采通常是企业应对挑战的一种方式。电子招采支持企业简化流程并实现流程自动化，进而节省成本、缩短采购周期时间，提高准确率。 随着信息技术的迅猛发展，新技术为电子制造商提供了更多改进电子招采的机会。未来电子招采值得关注的趋势有： 1、人工智能 目前，人工智能应用于支出分析和合同分析等招采领域，用于识别潜在的成本节约或流程简化。未来，人工智能/机器语言可能应用于虚拟个人助理，运用自然语言处理进一步实现招采流程自动化。 2、区块链 区块链应用程序编程接口（API）特别适合供应链功能：通过创建无法消除的交易记录，区块链可以应用于招采、支付、尽职调查和法规遵从。 3、云技术 云技术为电子制造机构提供随时随地获取信息的机会，从而支持更大的移动性和灵活性。未来，云电子招采与物联网结合，改进数据收集和分析，这将有助于提高企业的灵活性和响应速度，使企业能在不断变化的环境中做出更好的商业决策，同时改善客户关系。 4、协作 采用电子招采系统所带来的数据集中和标准化，有助于打破部门孤岛和职能孤岛，提高透明度和增强双方之间的信息共享。人工流程自动化给员工提供更多关注较高层职能的机会，更密切的协作支持部门合作，实现战略机构目标。 5、网络安全 网络安全是各行各业日益关注的问题。随着数据泄露风险的增加

1. 背景 ACM SIGKDD （ACM SIGKDD Conference on Knowledge Discovery and Data Mining）是世界数据挖掘领域的顶级国际会议。KDD Cup比赛由ACM SIGKDD举办，从1997年开始每年举办一次，也是数据挖掘领域最有影响力的赛事之一。该比赛同时面向企业界和学术界，云集了世界数据挖掘界的顶尖专家、学者、工程师、学生等参加，通过竞赛，为数据挖掘从业者们提供了一个学术交流和研究成果展示的理想场所。今年，KDD Cup共设置四个赛道共五道赛题，涉及数据偏差问题（Debiasing）、多模态召回（Multimodalities Recall）、自动化图学习（AutoGraph）、对抗学习问题和强化学习问题。 美团搜索广告算法团队最终在 Debiasing 赛道中获得冠军（1/1895），在 AutoGraph 赛道中也获得了冠军（1/149）。在 Multimodalities Recall 赛道中，亚军被美团搜索与NLP团队摘得（2/1433），美团搜索广告算法团队获得了第三名（3/1433）。 跟其它电商公司一样，美团业务场景中除了文本，还存在图片、动图、视频等多种模态信息。同时，美团搜索是典型的多模态搜索引擎，召回和排序列表中存在POI、图片、文本、视频等多种模态结果

https://mp.weixin.qq.com/s/FIuWYn7Ku2HUFTgxTx9hVA By 超神经 场景描述：机器翻译是自然语言处理上的一个重要应用，从他最初的诞生到现在，已经过去了 60 多年，但在一些小问题上，还是会出现令人啼笑皆非的局面。机器翻译是如何一步步发展来的？它背后的的机理是什么样子？它的局限性又是怎么一回事呢？ 关键词：机器翻译 发展历史 虽然谷歌翻译已经发布这么多年，但它还是时不时会闹出一些笑话。 比如「安卓手机非常卡顿」这句话，在去年会被翻译成「Android phone is very fast」，现在则是「Android phone is very Caton」。此外「我的电脑也很卡」会被翻译成「My computor is also very card」。 2019 年 10 月的谷歌翻译结果 卡顿和卡对应了 Caton 和 card 回溯一下，谷歌翻译上一个重大更新是 2016 年开始采用神经机器翻译（GNMT）的系统，它包括 8 个编码器和 8 个解码器，用于 9 种语言的翻译。 他们不仅把句子分开，而且还把单词分开，这也是它如何处理一个罕见单词的做法。当单词不在字典里时，NMT 是没有参考的。比如翻译一个字母组 「Vas3k」，在这种情况下，GMNT 试图将单词拆分为单词块并恢复它们的翻译。 但因为有开篇的那些小笑话

程序员欢乐送（第2期） 收录于话题 #程序员欢乐送 59个 对于我来说，我一直保持的追求有三点：技术、快乐、财富。因此，从此三点出发，记录过去一周，我所看到的，感觉值得分享的内容，每周五把欢乐送达。 由于微信不允许外部链接，你需要点击页尾左下角的“ 阅读原文 ”，才能访问文章的链接，文中的所有链接已使用 颜色字体标记 。 「 技术 Technology 」 1、Google APP帮你识别狗狗的品种 喜欢狗狗人士的福音来了，看到一条可爱的狗狗，不知道它的品种怎么办？让Google APP帮你识别吧。目前，该功能貌似只支持iOS端。 Google APP下载地址： 点击查看 当然，首先你要有个iPhone。 2、PyTorch 1.0稳定版正式发布 Facebook在NeurIPS大会上正在发布PyTorch 1.0稳定版。 Facebook在今年5月份公布了该版本的新功能，并在10月举办的PyTorch开发者大会上首次推出它的预览版。 开发者现在可以利用PyTorch 1.0的新功能了。 比如混合前端，可以让开发者在eager和图形模式之间无缝转换。 另外还有改进分布式训练、提供一个高性能的纯C++前端、与云平台深度集成等特性。 此外，Facebook宣布与Udacity合作，免费提供基于PyTorch的AI课程： 课程地址： 点击查看 人生苦短，我用pytorch。 3

　　 「智能时代的操作系统」飞桨和自研 AI 处理器百度昆仑都已就位，产业智能化时代正在到来。 　　 　　在刚刚开幕的百度世界大会上，总台央视主持人康辉和年轻 20 岁版的自己对话，成为了人们喜闻乐见的话题。 　　 　　这个虚拟版康辉同样「立志成为新闻播音员」。 　　之所以说是年轻 20 岁的康辉，是因为「他」是基于几十年前康辉的新闻播报视频数据生成的。与我们此前见过的一些类似技术相比，今天亮相的「康辉」，是一款具备认知能力的终端虚拟人，甚至可以进行机器——机器对话。 　　除了更会思考，全新的虚拟人技术还有另一个突破：他们的生成和展示的门槛已经大大降低，可以在普通手机上流畅运行。像这样帅气、聪明又会思考的虚拟人，背后整合了视觉、语音、语言与知识等多种模态的 AI 技术。这些技术是由升级后的百度大脑 6.0 提供的。 　　百度大脑是百度技术多年积累和业务实践的集大成，其中包括视觉、语音、自然语言处理、知识图谱、深度学习、人工智能安全等 AI 核心技术和 AI 开放平台，对内支持了百度所有业务，对外也是全方位开放。 　　从技术到硬件，从场景到应用，百度大脑作为软硬一体 AI 大生产平台，有效地降低了各行业应用 AI 技术的门槛。截至目前，百度大脑共计开放了 273 项 AI 能力，吸引到 230 万开发者，创建超过 31 万模型，并已培养出 100 万人工智能领域的从业者

程序员欢乐送（第10期） 收录于话题 #程序员欢乐送 59个 对于我来说，我一直保持的追求有三点：技术、快乐、财富。因此，从此三点出发，记录过去一周，我所看到的，值得分享的内容，每周五把欢乐送达。 由于微信不允许外部链接，你需要点击页尾左下角的“阅读原文”，才能访问文章的链接，文中的所有链接已使用蓝色字体标记。 「 技术 Technology 」 1、AI肖像生成 一位来自 Uber 的软件工程师Philip Wang利用英伟达去年发布的StyleGAN研究成果创作了源源不断的假人物头像。每次你刷新这个网站，网络就会从头开始生成新的人脸图像。 以下这些异常逼真的肖像都是算法生成的，并不是真实的人。 体验地址：点击查看 StyleGAN项目地址在《程序员欢乐送（第9期）》中推送过，可以去上篇推送中查看。 2、Remove.bg一键抠图 现在，抠图已经不再是专业设计师才会的技能，其应用的技术图像分割也不是一个新课题了，很早之前就有很多研究成果出现，按照是否使用深度学习的方法可分成传统方法（Blue Screen Matting、Poisson Matting、Bayes Matting、Closed form Matting 与 KNN Matting 等）和基于深度学习的方法（CNN、FCN 和 UNet）等，而深度学习方法的发展也大大提高了抠图的精度。