深度学习

　　机器之心发布 　　 机器之心编辑部 　　 AI 技术需要开源、开放。就在刚刚结束的中关村论坛旷视平行论坛中，旷视正式发布了天元 1.0 预览版。 　　9 月 18 日，中关村论坛旷视平行论坛中， 旷视研究院院长、首席科学家孙剑正式发布了开源深度学习框架天元 1.0 预览版 ，并对天元的技术特性与发展方向进行了深入解读。 　　旷视 2014 年开始研发深度学习框架天元。目前，旷视 1400 多名研发人员全员使用天元 MegEngine，旷视所有算法均通过天元 MegEngine 进行训练和推理。 　　 旷视天元 1.0 预览版，历经 8 次迭代 5 大升级 　　2020 年 3 月，旷视正式将天元开源，提供给全球开发者使用。开源以来，天元从 3 月的 Alpha 版本升级到 6 月的 Beta 版本、到 9 月的 1.0 版本， 期间实现了 8 次迭代 。 　　此次天元 1.0 预览版，相比之前的版本， 实现了 5 项重要的技术升级 。 　　 　　首先，天元 1.0 预览版提供了全新的 Imperative Runtime。天元通过重写动态执行引擎，打破过去几个版本中动态图的限制，解决了一系列资源释放的问题，并大幅提升了动态自由度，让使用 GPU 计算像 NumPy 一样方便自如。 　　其次，天元 1.0 预览版新增自动代码裁剪功能。在实际的 AI 应用开发中

Jürgen Schmidhuber 每次发博客都会引起一阵「腥风血雨」，这次似乎也不例外。 最近，这位机器学习大牛发布博客，纪念 10 年前发表在 Neural Computation 期刊上的一篇论文《Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition》，这篇文章主要介绍通过在 GPU 上执行梯度下降来训练深度多层感知机。 论文地址： https://www. catalyzex.com/paper/arx iv:1003.0358 在博客开头，Jürgen 这样评价该论文： 令人惊讶的是，这个简单但深层的监督式神经网络在机器学习基准数据集 MNIST 上的性能超过所有之前的方法。也就是说，在计算成本相当于今天 100 倍的 2010 年，我们提出的前馈神经网络和更早提出的循环神经网络就在当时的重要问题上打败了所有竞争算法。2010 年代，这一深度学习改革迅速从欧洲向美洲和亚洲扩展。 博客的具体内容如下： 仅仅在十年前，很多人认为深度神经网络在不进行无监督预训练的情况下无法学习。事实上，2007 年 Geoffrey Hinton 在《The Next Generation of Neural Networks》讲座中表示「明智的人不会建议

　　“未来 10-20 年，4 万亿美元的经济价值将由合成生物主导。” 　　2020 年 6 月，麦肯锡在《生物革命：创新将改变经济、社会和我们的生活》报告中，用这句话总结合成生物产业的未来价值。 　　三个月后的 9 月初，一家合成生物技术平台初创公司，恩和生物 Bota Biosciences(以下简称“Bota Bio”)，宣布完成 1500 万美元 A 轮融资。本轮融资由经纬中国领投，夏尔巴投资、BV 百度风投等机构跟投。 　　Bota Bio 成立于 2019 年，首席执行官是哈佛 - 麻省理工学院医学工程和生物物理博士 Cheryl Cui，她曾入选 2018 年美国福布斯医疗健康 “30 under 30” 榜单；联合创始人卢冠达（Timothy K. Lu）是麻省理工学院电子工程与生物工程副教授，他参与创办的合成生物公司 Synlogic 已于纳斯达克上市；首席技术官 Chia-Hong Tsai 博士来自于全球顶尖生物合成公司 Amyris，曾实现多个生物基产品的产业化。 　　除此之外，Bota Bio 的主要团队成员均拥有工业生物技术研发和产业化经验，核心技术团队完整覆盖生物计算、菌株工程和发酵工艺等各个技术模块。技术高管来自于 Amyris，生物酶工程巨头 Codexis、Ginkgo Bioworks、Intrexon、Joyn Bio 等。此前

1.过拟合 究其根本我们训练模型，目的是预测也好，分类也好，希望的是无论输入的数据是否训练过，都要维持在高的准确率，就是说普适性。打个比方，我们学习数学的过程，这个过程其实就很像在训练我们大脑中的模型，我们做的练习题就时训练过程，参加考试就是测试模型，对于一个考试，A同学逻辑思维很好，通过平日的练习训练出了解题的逻辑，在考试中拿到了高分；B同学记忆力特别好，做过的每一道题都能记住，恰好这次考试考的题目他都做过，分数比A还高；又一次考试，A还是那些分，但是这次考的题目B都没做过，拿了低分。B同学的训练的模型只适用于他做过的题，而A同学的模型使用于所有题；那么B同学就属于过拟合了。 使训练数据拟合得比拟合基础分布更紧密的现象称为 过拟合 ，而用来对抗过度拟合的技术称为正则化。在前面的部分中，您在尝试使用Fashion-MNIST数据集时可能已经观察到这种效果。如果您在实验期间更改了模型结构或超参数，您可能已经注意到，如果神经元，层数和训练时期足够，即使测试数据的准确性下降，模型最终仍可以在训练集上达到理想的准确性。 同样我们平时思考，处理问题的时候也要知其然知其所以然，不要死记硬背、人云亦云，不然的话大脑也会过拟合，降低判断的准确性 2.训练误差和泛化误差 为了更清晰的理解上面的问题，我们需要区分训练误差（training error）和泛化误差（generalization

本文作者：张宇欣，中国科学院计算技术研究所博士生，研究方向为异常检测和深度学习。 本文对 异常检测 (Anomaly detection) 领域进行了一个较为全面的概述，主要介绍异常检测的问题定义、研究挑战、应用领域，以及主要研究方法。 什么是异常检测 不同于常规模式下的问题和任务，异常检测针对的是少数、不可预测或不确定、罕见的事件，它具有独特的复杂性，使得一般的机器学习和深度学习技术无效。 异常检测面临的挑战： 未知性 ：异常与许多未知因素有关，例如，具有未知的突发行为、数据结构和分布的实例。它们直到真正发生时才为人所知，比如恐怖袭击、诈骗和网络入侵等应用； 异常类的异构性 ： 异常是不规则的，一类异常可能表现出与另一类异常完全不同的异常特征。例如，在视频监控中，抢劫、交通事故和盗窃等异常事件在视觉上有很大差异； 类别不均衡 ：异常通常是罕见的数据实例，而正常实例通常占数据的绝大部分。因此，收集大量标了标签的异常实例是困难的，甚至是不可能的。这导致在大多数应用程序中无法获得大规模的标记数据。 异常的种类： 点异常 （point anomalies）指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标； 条件异常 （conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的

点击上方“3D视觉工坊”，选择“星标” 干货第一时间送达 论文全名《SuperGlue:Learning Feature Matching with Graph Neural Networks》， ETHZ ASL与Magicleap联名之作，CVPR 2020 Oral，一作是来自ETHZ的实习生，二作是当年CVPR2018 SuperPoint的作者Daniel DeTone。 注： SuperPoint参见另外一篇文章《SuperPoint: Self-Supervised Interest Point Detection and Description》，备用链接。 后文中反复提到的self-attention/cross-attention，我暂时翻译成自我注意力/交叉注意力。 本人知识水平有限，如有错误请在评论区指出。当然，没有问题也可刷刷评论。 摘要 本文提出了一种能够同时进行特征匹配以及滤除外点的网络。其中特征匹配是通过求解可微分最优化转移问题（ optimal transport problem）来解决，损失函数由GNN来构建。基于注意力机制提出了一种灵活的内容聚合机制，这使得SuperGlue能够同时感知潜在的3D场景以及进行特征匹配。该算法与传统的，手工设计的特征相比，能够在室内外环境中位姿估计任务中取得最好的结果，该网络能够在GPU上达到实时

华为开发者大会2020（Together）期间，HMS Core 5.0作为大会的重点之一，广受开发者关注。HMS Core 5.0包含50多项能力，上万个场景化API，全面开放了软硬件能力和云端能力，在App Services、Media、Graphics、Smart Device、Security、AI、System等7大领域帮助开发者实现应用高效开发、快速增长、商业变现，全面助力开发者应用创新，为全球用户提供精品内容、服务及体验。 媒体领域(Media)更是将华为基于音乐、视频、主题等多年积累的应用能力持续面向开发者开放，HMS Core 5.0版本通过基于chinaDRM打造的WisePlay DRM帮助开发者构建自主的数字版权保护生态。在大会分论坛上，华为分享了媒体技术发展趋势以及HMS Core 5.0在媒体领域(Media)的开放能力，助力开发者快速进行多媒体应用创新，为用户带来更优质的媒体使用体验。 技术变革推动媒体生态完善 HMS Core助力媒体紧跟时代步伐 经过长期的发展，媒体内容的形式已经从语义信息的文字，发展到2D图片，后来又到增加了时间维度的视频和3D视频。现如今，多元化的媒体体验已经融入用户日常生活，传统长视频业务、新兴的短视频、直播业务以及周边的音频、图片、编辑等影音娱乐和摄影摄像垂直行业商业模式已经日趋成熟，用户规模稳步上升

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 大家好，本公众号现已开启线上视频公开课，主讲人通过B站直播间（ bilibili号：3D视觉工坊：https://space.bilibili.com/483478083 ），对3D视觉领域相关知识点进行讲解，欢迎大家的关注。 往期精彩： 第一期：东北大学李奇 《 基于深度学习的物体抓取位置估计 》 第二期：上海交通大学沈毅君 《相机标定的基本原理与经验分享》 第三期：西安交通大学潘浩洋 《 基于点云的三维物体表示与生成模型 》 第四期：北京科技大学李阳阳《 求职经验分享 》 第五期：ChaucerG《 聊聊目标检测和秋招那些事 》 第六期：镭神智能创始人雷祖芳《 基于激光雷达的感知、定位导航应用 》 第七期：东北大学龚益群《 图像对齐算法 》 第八期：武汉大学李迎松博士《 立体视觉之立体匹配与实战 》 第九期：北京中科慧眼CTO崔峰《 深度相机与应用 》 第十期：博众精工技术总监杨军超《 结构光编码与三维重建技术 》 视频回顾： 本期由熵智科技（深圳）有限公司联合创始人&CTO高磊博士和深圳市安华光电技术有限公司副总经理朱青博士分享，主题为《 结构光3D相机 光机核心技术及3D成像性能分析 》，下面我们来一起回顾一下吧。 长按下方的图片，可以直接跳转到小程序播放。 PDF获取方式： 关注公众号【计算机视觉工坊】

　　 　　作者 | 青暮 　　2014年：她被诊断出患有乳腺癌。 　　2017年：她开发了可以提前几年诊断出她的癌症的ML模型。 　　今天：她被宣布为AAAI松鼠AI奖的第一位获得者，奖金100万美元，该奖项旨在表彰她在癌症诊断和药物合成方面的工作。 　　她是麻省理工学院教授Regina Barzilay。 　　 　　 1 　　 关于“AI诺贝尔奖” 　　一百多年来，诺贝尔奖每年都会颁发，以表彰科学家在化学、文学、医学、和平、经济与物理学方面的突破性成就。这些学科无疑会继续影响社会，而人工智能和机器人技术等新兴领域也开始深刻地重塑世界。 　　认识到这一点，世界上最大的AI协会——AAAI 创立了松鼠AI奖，一百万美元奖金由在线教育公司松鼠AI提供。 　　早在去年5月25日，在AIAED全球AI+智适应教育峰会上，松鼠 AI 就联合 AAAI发布了这一奖项，宣布将每年出资 100 万美金，奖励给全球领先有突破性并且为社会创造商业及为人类创造巨大价值的 AI 技术，并称呼该奖项为“AI 诺贝尔奖”。 　　获奖者Regina Barzilay是麻省理工学院电气工程和计算机科学的Delta电 子学教授，也是麻省理工学院计算机科学和人工智能实验室（MIT-CSAIL）的成员，她因利用机器学习模型来开发抗生素和其他药物的工作而受到认可， 并长期致力于发现和诊断乳腺癌。 　

来源 | 极链AI云（性价比最高的共享GPU算力平台， 双节活动进行中 9.25-10.1，新人注册可领取限定258元大礼包， 价值100+小时的免费使用时长，领取地址： https://cloud.videojj.com/ ） 作者 | Morning 极链AI云技术原创奖励计划 原文地址 | NLP顶会论文写作技巧个人总结！ （官网论坛） 这两年，经历了几次会议的“赶稿子”之后，发现自己的写作能力是软肋，这两天拜读了刘洋老师和刘知远老师的报告后，总结一下，希望对未来的自己有所帮助。 1.观念的转变： 以作者为核心整理工作->以读者为核心整理工作 2.降低文章的理解难度 3.解决的问题过程： 先思考，再去查⽂献相互印证 具有语⾔学理论的⽀撑，符合语⾔学角度的直觉。 接下来就是一篇文章的几个部分了： 标题： ⽤⼀句话概括你所做的⼯作 考虑搜索引擎的影响，包含关键词 摘要： 1.问题是什么 2.我们做了什么 3.我们怎么做的 4.我们做的还不错（说明结果） 介绍： 常见的逻辑: 1.说明问题是什么 2.简单罗列前⼈⼯作 3.描述我们的⼯作 更好的逻辑 更好的逻辑： 1.说明问题是什么 2.目前最好的⼯作⾯临什么挑战 3.我们的⽅法能缓解上述挑战 段落： 1.每个段落有个论断性的中⼼句 2.其余部分都是⽀撑句，围绕中⼼句展开论证 1.前⼈⼯作 2.具体数据 3.⽀撑句之间可分类组织 4