深度学习

深度学习与机器学习 https://www.cnblogs.com/qcloud1001/p/9633724.html 一、什么是机器学习？ 通常，为了实现人工智能，我们使用机器学习。我们有几种算法用于机器学习。例如： Find-S算法 决策树算法（Decision trees） 随机森林算法（Random forests） 人工神经网络 通常，有3种类型的学习算法： 1，监督机器学习算法用于进行预测。此外，该算法搜索分配给数据点的值标签内的模式。 2，无监督机器学习算法：没有标签与数据点相关联。这些ML算法将数据组织成一组簇。此外，它需要描述其结构，使复杂的数据看起来简单，有条理，便于分析。 3，增强机器学习算法：我们使用这些算法来选择动作。此外，我们可以看到它基于每个数据点。一段时间后，算法改变其策略以更好地学习。 二、什么是深度学习？ 机器学习只关注解决现实问题。它还需要更加智能的一些想法。机器学习通过旨在模仿人类决策能力的神经网络。ML工具和技术是关键的两个深度学习的窄子集，我们需要用他们来解决需要思考的问题。任何深度神经网络都将包含三种类型的图层： 输入层 隐藏层 输出层 我们可以说深度学习是机器学习领域的最新领域。这是实现机器学习的一种方式。 深度学习与机器学习 我们使用机器算法来解析数据，从数据中学习，并根据所学知识做出明智的决策。基本上，深度学习用于创建人工

ISPRS, 2020, GEE,好文阅读 01 冬天和阅读更配哦 ISPRS Journal of Photogrammetry and Remote Sensing The ISPRS Journal of Photogrammetry and Remote Sensing (P&RS) is the official journal of the International Society for Photogrammetry and Remote Sensing (ISPRS). The Journal provides a channel of communication for scientists and professionals in all countries working in the many disciplines that employ photogrammetry , remote sensing , spatial information systems , computer vision , and related fields. The Journal is designed to serve as a source reference and archive of advancements in these disciplines. The

开源模型效果体验，废话不说，先上图： 看到如此神奇，是不是手痒现在就想体验？步骤非常简单！ Step1: 点击 https://ai.baidu.com/easyedge/home 进入百度EasyEdge端计算模型生成平台 Strp2: 点击“立即使用”进入操作中心后，选择“体验开源模型”，点击想体验的模型，拿出手机（安卓苹果皆可）扫码，自动安装，等待几秒钟，即可打开APP实时体验各类模型的效果。 这就是EasyEdge平台最近升级给开发者提供的“开源模型体验”功能，一行代码不用写，还支持苹果手机，妥妥的开发者福利啊！ 除了上面演示的OCR模型，公开的模型还有菜品识别，能识别8416种菜！ 螺蛳粉也能识别也是没谁了。 动物识别，能识别7879种动物： 更有一些通用的物体检测、人脸识别等模型： 什么都别说，扫码就对了。 言归正传，下面正式介绍一下EasyEdge。 EasyEdge是百度推出的端计算模型生成和服务平台，可基于多种深度学习框架、网络结构的模型，快捷生成端计算模型及封装SDK，并灵活适配多种AI芯片与操作系统, 目前EasyEdge的全部功能服务已预置在零门槛AI开发平台EasyDL、全功能AI开发平台BML中，与模型训练环节紧密配合，提供一站式端到端的AI开发及离线推理服务。。 随着人工智能的不断发展，越来越多的行业和业务场景在应用人工智能来提升效率并降低成本。一方面

选自 http:// github.io 作者：Jay Alammar 机器之心编译 原文链接： https://mp.weixin.qq.com/s/tXMA4y1nryAlVO3cBS1LXQ ​ mp.weixin.qq.com 今年涌现出了许多机器学习的精彩应用，令人目不暇接，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。仅从模型架构而言，GPT-2 并没有特别新颖的架构，它和只带有解码器的 transformer 模型很像。 然而，GPT-2 有着超大的规模，它是一个在海量数据集上训练的基于 transformer 的巨大模型。GPT-2 成功的背后究竟隐藏着什么秘密？本文将带你一起探索取得优异性能的 GPT-2 模型架构，重点阐释其中关键的自注意力（self-attention）层，并且看一看 GPT-2 采用的只有解码器的 transformer 架构在语言建模之外的应用。 作者之前写过一篇相关的介绍性文章「The Illustrated Transformer」，本文将在其基础上加入更多关于 transformer 模型内部工作原理的可视化解释，以及这段时间以来关于 transformer 模型的新进展。基于 transformer 的模型在持续演进

知识蒸馏 | 模型压缩利器_良心总结 https://zhuanlan.zhihu.com/p/138210881 深度学习“炼丹师”,计算机视觉算法工程师 公众号：CV炼丹猿 附：【 Awesome-Knowledge-Distillation 】 1.什么是知识蒸馏 最近利用知识蒸馏的方法，对业务中的性能有了可观的提升，因此在这里总结一波。本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~ 知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的网络。从而我们会得到一个速度快，能力强的网络，因此这是一个概念上的模型压缩方案。从另一个角度来说，蒸馏可以使得student学习到teacher中更加软化的知识，这里面包含了类别间的信息，这是传统one-hot label中所没有的。由于蒸馏中软化标签的本质，因此蒸馏也可以被认为是一种正则化的策略。总结来说，知识蒸馏除了能够学习到大模型的特征表征能力，也能学习到one-hot label中不存在的类别间信息。现有的知识蒸馏方法主要侧重于两点： 从teacher的什么位置学习 和 用什么方式学习 。以下的总结图概述了本文要介绍的蒸馏方法。 目录结构： 深度学习(异步图书出品) 京东 ¥

ICLR（国际学习表征会议）组委会今天公布了今年的论文接收结果。今年，共有2997篇论文投稿，相比去年的2594篇论文投稿，增加了15.5%。其中860篇论文被接收，接受率为28.7%，这些论文有53篇分布在Oral，114篇分布在Spotlight以及693 篇将会用Poster展示。 ICLR，全称为International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习大牛、图灵奖得主 Yoshua Bengio 和 Yann LeCun牵头创办。 ICLR成立至今仅七年，但它已被学术研究者们广泛认可，虽然在中国还没有被CCF定级，但这不妨碍被认为是“深度学习领域的顶级会议”。 投稿详情如下： ICLR 2021 Conference ​ openreview.net 机器学习/深度学习算法/自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 强烈推荐大家关注 机器学习算法与自然语言处理 账号和 机器学习算法与自然语言处理 微信公众号，可以快速了解到最新优质的干货资源

Postdoctoral researcher Computer Science and Artificial Intelligence Laboratory Department of EECS Massachusetts Institute of Technology Email: junyanz at mit dot edu CV | Google Scholar | GitHub | Thesis | Teaching | Software | Papers | Talks | Awards | Arxiv I am a postdoctoral researcher at MIT, working with William T. Freeman, Josh Tenenbaum, and Antonio Torralba. I obtained my Ph.D. from UC Berkeley after spending five wonderful years at CMU and UC Berkeley with Alexei A. Efros. I received my B.E from Tsinghua University. I study computer vision, computer graphics, and machine learning

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 目前三维点云数据的获取方法相对快捷，同时三维点云数据的采集不受光照影响，也规避了二维图像遇到的光照、姿态等问题，因此基于点云数据的三维物体识别也引起了人们的重视。 三维点云物体识别方法多是通过提取物体的特征点几何属性、形状属性、结构属性或者多种属性的组合等特征进行比对、学习，从而完成物体的识别与分类。可以分为以下四类方法： 1.基于局部特征的目标识别 基于局部特征的物体识别方法主要是通过局部来识别整体。该方法无需对处理数据进行分割，往往通过提取物体的关键点、边缘或者面片等局部特征并进行比对来完成物体的识别。其中，特征提取是物体识别中非常关键的一步，它将直接影响到物体识别系统的性能。基于局部特征的方式对噪声和遮挡有更好的鲁棒性，同时不受颜色和纹理信息缺乏的限制。由于局部特征描述子仅使用参考点邻域信息，所以不对场景进行分割即可处理复杂场景。但是局部特征描述子维度较高，需要消耗更多的内存，同时存在计算复杂度高，实时性差等问题。 点特征直方图(PFH)和快速点特征直方图(FPFH)是Rusu R B等人提出的相对早期的局部特征描述子。采用统计临近点对夹角的方式构造特征描述子，这也是局部特征描述子构造的典型方式，在此基础上形成了基于局部特征匹配的目标识别和位姿估计的经典框架，如下图所示。表１对典型的局部三维描述符进行了总结

作者：RAM SAGAR 机器之心编译 编辑：蛋酱、魔王 原文链接： https://mp.weixin.qq.com/s/NTjTg-enUjArb2umkhcVIg ​ mp.weixin.qq.com 注：文末附【深度学习与自然语言处理】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 盘点 AI 十年来取得的重要突破。 过去十年间，人工智能技术突飞猛进，最疯狂的科幻小说场景现在已经成为我们生活中不可或缺的一部分。十年前，人们在谈论 AI 的理论化和实验，但这些年来，AI 变得更加切实了，也变成了主流。无论是国际标准课程、平台、库、框架、硬件，一切都顺理成章。就算说这十年里取得的成绩奠定了未来的基础，也不为过。 这篇文章将盘点 AI 十年来取得的重要突破。 卷积 2012 年是深度学习历史上重要的一年。那一年，卷积神经网络（CNN）在著名的 ImageNet 挑战赛中大放异彩。由 Alex Krizhevsky 等人设计的卷积神经网络「Alexnet」以远超第二名的成绩夺冠，在 ImageNet 数据集上的视觉识别错误率为 15.3%，降低了一半。该神经网络对猫的检测准确度达到了 74.8%，在 YouTube 视频中检测人脸的准确率为 81.7%。 现在，手机和商场中的人脸识别应用都应该归功于 2012 年的这项工作

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 在杂波和遮挡情况下，对自由形式物体的识别及分割是一项具有挑战性的任务。本文提出了一种新的基于三维模型的算法，该算法可以有效地执行该任务，对象的三维模型是从其多个无序范围图像离线自动构建的，这些视图被转换为多维，用张量表示，通过使用基于哈希表的投票方案将视图的张量与其余视图的张量匹配，这些视图之间自动建立对应关系，形成一个相对转换图，用于将视图集成到无缝3D模型之前注册视图，该模型及其张量表示构成了模型库。在在线识别过程中，通过投票场景中的张量与库中的张量同时匹配，对于得票最多的模型张量并计算相似性度量，进而被转换为场景，如果它与场景中的对象精确对齐，则该对象被声明为识别和分割。这个过程被重复，直到场景完全分割。与自旋图像的比较表明，本文算法在识别率和效率方面都是优越的。 1.算法框图 （1） 离线三维建模 本文对多维视图对应算法使用4d散列表来执行一组对应搜索，如上图中的模块B和C，自动建立自由形式对象的无序2.5d视图之间的对应关系，结果是无序视图之间的相对转换的生成树，用于在基坐标系下粗略地对它们进行配准，使用多视图精细配准(模块D)对配准进行细化，然后将视图集成并重建为无缝三维模型(模块E)。 （2）在线识别与分割 场景的点云被转换成三角形网格，由于性能原因而被抽取。接下来，从这个网格中随机选择一对顶点来构造张量