深度学习

一个仿人机器人的延伸手。机器人常常使用强化学习来加以训练 来源：云头条 作者：Ben Dickson是一名软件工程师，还是探讨技术在如何解决和带来问题的TechTalks博客的创始人。 2010年代对于AI界来说意义重大，这归功于深度学习领域取得了惊人的进步，AI的这个分支因收集、存储和处理大量数据的能力不断增强而变得切实可行。如今，深度学习不仅是一个科学研究课题，还是许多日常应用系统的一个关键组成部分。 但是十年来的研究和应用清楚地表明，在当前状态下，深度学习并不是克服打造智能与人类相当的AI这一艰巨挑战的最终解决方案。 我们需要怎样才能将AI推到下一个高度？需要更多的数据和更庞大的神经网络？需要新的深度学习算法？还是需要深度学习之外的方法？ 这个话题已在AI社区引起了激烈的讨论，也是上周举行的在线讨论Montreal.AI的中心话题。背景和学科迥异的科学家们参加了这场名为《AI辩论2——推动AI前进：一种跨学科的方法》的大辩论。 混合AI 认知科学家Gary Marcus共同主持了这场辩论，他重申了深度学习存在的几大缺点，包括数据需求过高、将知识迁移到其他领域的能力偏低、不透明以及缺乏推理和知识表征。 Marcus一向公开炮轰纯深度学习的方法，他在2020年初发表了一篇论文，他在论文中建议采用一种将学习算法与基于规则的软件相结合的混合方法。

图神经网络（GNN）是目前热门的研究方向，但我们是否应把注意力过多地放在这上面？数据科学家 Matt Ranger 从模型的本质、性能基准测试、实践应用等方面陈述了自己的观点。 选自 http:// singlelunch.com ，作者：Matt Ranger，机器之心编译，机器之心编辑部。 图神经网络（GNN）是机器学习中最热门的领域之一，在过去短短数月内就有多篇优秀的综述论文。但数据科学家 Matt Ranger 对 GNN 却并不感冒。他认为这方面的研究会取得进展，但其他研究方向或许更重要。 博客链接： https://www. singlelunch.com/2020/12 /28/why-im-lukewarm-on-graph-neural-networks/ 机器之心对这篇博客进行了编译整理，以下是博客内容。 模型的关键是压缩 图经常被认为是一种「非欧几里得」数据类型，但实际上并不是。正则图（regular graph）只是研究邻接矩阵的另一种方式： 如上图所示，充满实数的矩阵却被称为「非欧几里得」，这很奇怪。 其实这是出于实际原因。大多数图都相当稀疏，因此矩阵中会包含很多 0。从这个角度看，非零数值非常重要，这让问题接近于（计算上很难的）离散数学，而不是（容易的）连续、梯度友好的数学。 有了全矩阵，情况会变得容易 如果不考虑物理领域的内容，并假设存在全邻接矩阵

文/编辑 | 言有三 今天， 有三AI知识星球开设正好一周年 ，在有了微信公众号生态后，为什么我们还要做一个知识星球呢？为什么我们说每一个核心的有三AI粉丝一定是在知识星球里呢？今天来总结一下我们 知识星球的主要内容，它和公众号的关系，以及知识星球存在的必要性。 1 知识星球是什么 知识星球是一个 私密社区 ，以前叫做 小密圈 ，产品已经存在好几年了，有iOS和Android两个平台的APP，可以使用 微信小程序 阅读和 网页版 进行阅读，创业团队在深圳，腾讯投资，下面分别是用APP，小程序，网页打开我们知识星球的预览。 目前音乐和视频的优质内容付费订阅大家已经完全接受，知识星球作为一个 图文为主的付费社区 也是不错的补充，还可以做自由交流。 有三AI知识星球便是依托于知识星球APP，2019年3月12日创建，目前由 言有三全职独立运营 。 如果说过去的一年里微信公众号是有三AI的 第一免费生态 ，那么有三AI知识星球就是我们的 第一付费生态 ，两者的共同特点是， 只专注于做系统性的原创 。下面我们来重点介绍一下知识星球社区的特点，有了微信公众号，为什么我们还一定需要知识星球？ 2 可以自由提问 公众号最缺失的内容是什么？实时的自由交流，这就是知识星球最重要的功能之一了。在星球里可以向 有三私信提问 ，也可以直接 自己发状态提问和大家交流 ，还可以向 嘉宾 提问

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶” 作者： Alireza Dirafzoon 编译：ronghuaiyang 导读 在单GPU上就可以运行的Transformer模型，而且几乎不损失精度，了解一下？ 如果你一直在开发机器学习算法用于处理连续数据 —— 例如语言处理中的文本，语音信号，或视频 —— 你可能听说过或使用过Transformer，你可能知道这和是推特中认为的不同于一个东西。 图1，打破僵局，摘自Chris Manning教授的推特 最近，谷歌推出了Reformer架构，Transformer模型旨在有效地处理处理很长的时间序列的数据(例如，在语言处理多达100万个单词)。Reformer的执行只需要更少的内存消耗，并且即使在单个GPU上运行也可以获得非常好的性能。论文 Reformer: The efficient Transformer 将在ICLR 2020上发表(并在评审中获得了近乎完美的分数)。Reformer模型有望通过超越语言应用(如音乐、语音、图像和视频生成)对该领域产生重大影响。 在这篇文章中,我们将努力深入Reformer模型并试着去理解一些可视化方面的指南。准备好了吗？ 为什么是Transformer? 在NLP类的任务中，如机器翻译、文本生成、问答，可以被形式化为sequence-to-sequence的学习问题。长短期记忆

阅读本文大概需要 18 分钟。 前言 在毕设系列推文的第二章中我们详细介绍了TensorFlow的一些基础知识（ TensorFlow 2.0 概述 ）；在第三章（ 毕业设计之「神经网络与深度学习概述」 （一） 、 毕业设计之「神经网络与深度学习概述」（二） ）中对神经网络与深度学习做了简单的概述（主要介绍本章节中完成两个项目所用的一些基础概念）包括激活函数、梯度下降、损失函数、softmax算法等；并且通过简单描述全连接神经网络的不足，详细介绍了卷积神经网络的相关概念。 有了前面几章的基础知识，在本章中，我们会在此基础上介绍两个相关的例子（在此之前会对4.1节中对所用卷积神经网络 AlexNet 进行详尽的描述）： 其中包括 利用AlexNet完成MNIST手写字的训练和识别 （本文所涉及内容）以及 毕业设计之「测试实验及结果分析」（二） 。 第一个例子是论文中要求指定完成的例子；第二个例子是为了丰富论文成果通过Python爬虫技术收集数据样本集（包括测试集图片和训练集图片，共计3762张图片）、通过搭建AlexNet标准网络结构模型进行训练，并通过测试集图片进行最终结果分析而特别引入的。 图解AlexNet网络结构 MNIST手写字训练和识别 import TensorFlow as tf mnist = tf.keras.datasets.mnist (x_train, y

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 为了方便大家了解基于多视图立体的三维重建技术，更重要的是能亲手利用开源数据集或者自己采集的影像跑一遍流程，进而对整个流程更为熟悉，本文整理了近年来几种经典的基于传统方法和基于深度学习方法的三维重建技术Pipeline，并详细介绍从多视图影像到深度图估计，再到恢复三维点云的整个过程。 因为三维重建原理复杂，且各种软件或代码之间接口变化多样，无法一言蔽之，因此作者打算分为四篇文章介绍四种经典的三维重建技术Pipeline。分别为： 1）传统方法（COLMAP） 2）深度学习方法（COLMAP + MVSNet） 3）传统方法（COLMAP + OpenMVS） 4）深度学习方法（COLMAP + R-MVSNet） 多视图几何三维重建实战系列之COLMAP 1.概述 作为计算机视觉的核心问题，基于多视图立体(以下简称为”MVS”)的三维重建技术已经广泛应用于3D打印、离线地图重建和文物修复等行业应用中。 本文先整体介绍三维重建流程（第二节），在介绍传统方法COLMAP的实际操作流程（第三节），最后根据输出结果对COLMAP的重建效果进行分析（第四节）。 （注意，这个系列选用的三维重建方式均为基于深度图融合的方法。） 2.三维重建流程 基于MVS的三维重建技术流程包括以下步骤：数据采集，稀疏重建，深度图估计和稠密重建(图1)。

注：文末附【深度学习与自然语言处理】交流群 介绍一个Seq2seq模型的实现tutorial，使用pytorch和torchtext实现。目前已经有2400个start，质量应该不错。有代码参考比没有代码参考可好太多了，尤其对于新手！ 还给出了一些其他Seq2seq的实现仓库： 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 156个参考文献！Visual Transformer 调研survey NLP生成任务痛点！58页generation评价综述 机器学习画图模板ML Visuals更新 谷歌最新28页高效 Transformer 模型综述 Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述 使用PyTorch时，最常见的4个错误 加拿大蒙特利尔大学助理教授刘邦招收2021/2022年博士生 【EMNLP2020】基于动态图交互网络的多意图口语语言理解框架 一文搞懂 PyTorch 内部机制 AAAI 2021论文接收列表放出!!

作者：Rosetta技术团队 策划：蔡芳芳 在上⼀篇⽂章中， 【技术分享】隐私AI工程技术实践指南 ，我们整体上了介绍了基于深度学习框架开发隐私AI框架的⼯程挑战和可⾏解决⽅案。在这⼀篇⽂章中，我们进⼀步结合Rosetta介绍如何定制化改造TensorFlow前后端相关组件，以集成MPC等隐私计算技术，同时保留对TensorFlow接口API的复⽤，从⽽实现我们上⼀篇⽂章中所强调的“系统易⽤性”。 ⽬前Rosetta主要基于TensorFlow 1.14 CPU版本加以开发（以下简称TensorFlow为TF），这是因为TF 1.x⽬前在⼯业界中实际应⽤较为⼴泛，⽽引⼊动态图等⾼级功能的TF 2.0，则由于接⼝不向后兼容等问题，仍没有得到⼤规模落地。后续我们也将在Rosetta本身功能稳定的基础上考虑⽀持TF 2.0。下⾯就让我们开始吧。 TensorFlow 快速回顾 想要基于AI框架进⼀步扩展引⼊隐私计算功能，第⼀步需要⽐较深⼊地了解这些AI框架，所以⾸先让我们简单回顾⼀下TF的核⼼概念以及宏观的内部处理过程。 TensorFlow 核心概念 > > > > Tensor（张量） 深度学习需要完成对⼤量⾼维度复杂数据的处理，在TensorFlow中，⽤Tensor来封装同⼀类型数据的⾼维数组。其中，基础类型除了各种不同精度的整数、浮点数外，还⽀持 tf.string 类型

【面试相关原创文章合集】 Luke：【纯干货】程序员（算法&开发&测试）大厂（BAT）社招/校招面试准备（简历+刷题+话术）指南 Luke：伯乐是怎样炼成的，BAT算法面试官心得体会 前言 最近帮leader面试了不少应届生，也有了一些自己做面试官的心得。博主之前跳槽的时候写过一篇从候选人的角度如何准备面试的文章，刚好这次可以转换一下位置，从面试官的角度出发聊聊如何高效地从海量的简历中快速相中心怡的候选人，也希望能够帮助还在找工作的朋友更好的了解面试官的心路历程， 知己知彼，百战不殆 。 目录 基本原则 候选者自我介绍 工作（实习）经历/论文/竞赛/项目考察 基础知识考察 方案设计 Coding测试 候选者提问 时间分配 1. 基本原则 [1] 想做一个好面试官，遵守以下几点原则是基本： 尊重 。简历不匹配的候选人就不必邀请了，节省双方的时间。 不要好奇应试者的私人生活 。种族背景、家庭背景、是否单身、生育计划等都不是面试官应该了解的事情。 做好准备。 互联网时代，千里马不常有而伯乐常有。自己中意的候选人往往手里有多个offer，如何从所有友商中脱颖而出，打动候选人，需要每个面试官仔细思考。 2. 候选者自我介绍 所有面试正式开始的第一步都是让候选者做自我介绍 ，这个环节必不可少。原因不外乎3个 [2] ： 让候选人有个缓冲时间，避免过度紧张 面试官可能还没仔细看过候选人的简历

来源：知识分子 撰文 ： 全体智源学者 制版编辑：卢卡斯 编者按 编者按 2020年即将过去，今年人工智能领域有哪些重大进展？位于北京的智源人工智能研究院请 “智源学者” 们从全球的研究成果中评选了一份年度成就名单，其中有文本能力惊人的自然语言处理预训练模型GPT-3，有惊艳结构生物学领域的AlphaFold2，也有不少中国学者的成果。名单按对人工智能领域的重要性排序，会是谁拔得头筹呢？ No.10 康奈尔大学提出无偏公平排序模型可缓解检索排名的马太效应问题 近年来，检索的公平性和基于反事实学习的检索和推荐模型已经成为信息检索领域重要的研究方向，相关的研究成果已经被广泛应用于点击数据纠偏、模型离线评价等，部分技术已经落地于阿里和华为等公司的推荐及搜索产品中。2020年7月，康奈尔大学 Thorsten Joachims 教授团队发表了公平无偏的排序学习模型FairCo，一举夺得了国际信息检索领域顶会SIGIR 2020最佳论文奖。该研究分析了当前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的马太效应问题等，基于反事实学习技术提出了具有公平性约束的相关度无偏估计方法，并实现了排序性能的提升，受到了业界的广泛关注和好评。 No.9 Google与FaceBook团队分别提出全新无监督表征学习算法 2020年初，Google与Facebook分别提出SimCLR与MoCo两个算法