神经网络

转自： https://zhuanlan.zhihu.com/p/37846011 阿里妹导读：近日，阿里巴巴达摩院机器智能实验室开源了新一代语音识别模型DFSMN，将全球语音识别准确率纪录提高至96.04%（这一数据测试基于世界最大的免费语音识别数据库LibriSpeech）。 对比目前业界使用最为广泛的LSTM模型，DFSMN模型训练速度更快、识别准确率更高。采用全新DFSMN模型的智能音响或智能家居设备，相比前代技术深度学习训练速度提到了3倍，语音识别速度提高了2倍。 开源地址： https://github.com/tramphero/kaldi 本文作者：张仕良 阿里开源语音识别模型DFSMN 在近期举行的云栖大会武汉峰会上，装有DFSMN语音识别模型的“AI收银员”在与真人店员的PK中，在嘈杂环境下准确识别了用户的语音点单，在短短49秒内点了34杯咖啡。此外，装备这一语音识别技术的自动售票机也已在上海地铁“上岗”。 著名语音识别专家，西北工业大学教授谢磊表示：“阿里此次开源的DFSMN模型，在语音识别准确率上的稳定提升是突破性的，是近年来深度学习在语音识别领域最具代表性的成果之一，对全球学术界和AI技术应用都有巨大影响。” 图：阿里在GitHub平台上开源了自主研发的DFSMN语音识别模型 语音识别声学模型 语音识别技术一直都是人机交互技术的重要组成部分

本文转载自公众号“读芯术”(ID：AI_Discovery)。 纸上得来终觉浅，绝知此事要躬行。光看教程是不够的，你需要通过实践来掌握更多更真实的内容。以下有8个创意十足的机器学习实操项目供你选择，赶紧行动起来吧! 1. 基于社交媒体帖子的抑郁情绪分析 世界上有超过2.64亿人患有抑郁症。抑郁症是全球残疾、疾病的主要原因，每年都有近80万人自杀身亡——自杀是15-29岁人群死亡的第二大原因。但与之相对的是，针对抑郁症的治疗却经常不到位、不及时、不精确。 网络为改变早期抑郁提供了机会，尤其是针对青年人的病症。推特上每时每刻发送的推文几乎超过35万条，每天发送5亿条，每年则约2000亿条。 皮尤研究中心指出，72%的人依靠互联网生活。社交网络发布的数据集对于很多领域都很重要，比如人文科学和大脑研究。通过分析社交媒体帖子中的语言标记，可以建立深度学习模型，使个人了解其心理健康状况，这种方法比传统方法快很多。 2. 使用神经网络将体育比赛视频转换为文本摘要 图源：Unsplash 这个项目的想法是，从体育比赛视频中获取精确的摘要，而后将高光部分发布在体育网站上。科学家已经提出了各种用于提取文本摘要的模型，但是神经网络的效果最好。一般来说，摘要是指在一个简要的结构中引入信息，集中传达事实和信息，同时保证其重要性。 自动生成游戏视频的摘要给辨别游戏高光部分带来了挑战。 为了完成上述任务

Jürgen Schmidhuber 每次发博客都会引起一阵「腥风血雨」，这次似乎也不例外。 最近，这位机器学习大牛发布博客，纪念 10 年前发表在 Neural Computation 期刊上的一篇论文《Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition》，这篇文章主要介绍通过在 GPU 上执行梯度下降来训练深度多层感知机。 论文地址： https://www. catalyzex.com/paper/arx iv:1003.0358 在博客开头，Jürgen 这样评价该论文： 令人惊讶的是，这个简单但深层的监督式神经网络在机器学习基准数据集 MNIST 上的性能超过所有之前的方法。也就是说，在计算成本相当于今天 100 倍的 2010 年，我们提出的前馈神经网络和更早提出的循环神经网络就在当时的重要问题上打败了所有竞争算法。2010 年代，这一深度学习改革迅速从欧洲向美洲和亚洲扩展。 博客的具体内容如下： 仅仅在十年前，很多人认为深度神经网络在不进行无监督预训练的情况下无法学习。事实上，2007 年 Geoffrey Hinton 在《The Next Generation of Neural Networks》讲座中表示「明智的人不会建议

作者 | 杜博亚 来源 | 阿泽的学习笔记 「本文的目的，是务实、简洁地盘点一番当前机器学习算法」。文中内容结合了个人在查阅资料过程中收集到的前人总结，同时添加了部分自身总结，在这里，依据实际使用中的经验，将对此模型优缺点及选择详加讨论。 主要回顾下几个常用算法的适应场景及其优缺点！ 机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。 假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-validation）对各个算法一个个地进行测试，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。 天下没有免费的午餐 在机器学习领域，一个基本的定理就是“没有免费的午餐”。「换言之，就是没有算法能完美地解决所有问题，尤其是对监督学习而言（例如预测建模）」。 举例来说，你不能去说神经网络任何情况下都能比决策树更有优势，反之亦然。它们要受很多因素的影响，比如你的数据集的规模或结构。

点击上方“3D视觉工坊”，选择“星标” 干货第一时间送达 论文全名《SuperGlue:Learning Feature Matching with Graph Neural Networks》， ETHZ ASL与Magicleap联名之作，CVPR 2020 Oral，一作是来自ETHZ的实习生，二作是当年CVPR2018 SuperPoint的作者Daniel DeTone。 注： SuperPoint参见另外一篇文章《SuperPoint: Self-Supervised Interest Point Detection and Description》，备用链接。 后文中反复提到的self-attention/cross-attention，我暂时翻译成自我注意力/交叉注意力。 本人知识水平有限，如有错误请在评论区指出。当然，没有问题也可刷刷评论。 摘要 本文提出了一种能够同时进行特征匹配以及滤除外点的网络。其中特征匹配是通过求解可微分最优化转移问题（ optimal transport problem）来解决，损失函数由GNN来构建。基于注意力机制提出了一种灵活的内容聚合机制，这使得SuperGlue能够同时感知潜在的3D场景以及进行特征匹配。该算法与传统的，手工设计的特征相比，能够在室内外环境中位姿估计任务中取得最好的结果，该网络能够在GPU上达到实时

本文非原创，而是节选自微信公众号AmazingRobot +的文章：《解决最优路径问题的算法》 遗传算法の解决最优路径问题 旅行商问题，即TSP问题（Traveling Salesman Problem）又译为旅行推销员问题、货郎担问题，是数学领域中著名问题之一。假设有一个旅行商人要拜访n个城市，他必须选择所要走的路径，路径的限制是每个城市只能拜访一次，而且最后要回到原来出发的城市。路径的选择目标是要求得的路径路程为所有路径之中的最小值。 — Edited By Hugo 1、遗传算法与生物进化学说： 遗传算法(Genetic Algorithm)遵循『适者生存』、『优胜劣汰』的原则，是一类借鉴生物界自然选择和自然遗传机制的随机化搜索算法。 遗传算法模拟一个人工种群的进化过程，通过选择(Selection)、交叉(Crossover)以及变异(Mutation)等机制，在每次迭代中都保留一组候选个体，重复此过程，种群经过若干代进化后，理想情况下其适应度达到《近似最优》的状态。 自从遗传算法被提出以来，其得到了广泛的应用，特别是在函数优化、生产调度、模式识别、神经网络、自适应控制等领域，遗传算法发挥了很大的作用，提高了一些问题求解的效率。 2、遗传算法是一类模拟自然界遗传进化规律的仿生学算法，它不是一个具体的算法，而是一个算法簇。遗传算法是演化算法的一个分支

　　 　　作者 | 侯宇清、陈玉荣 　　深度强化学习是深度学习与强化学习相结合的产物，它集成了深度学习在视觉等感知问题上强大的理解能力，以及强化学习的决策能力，实现了端到端学习。深度强化学习的出现使得强化学习技术真正走向实用，得以解决现实场景中的复杂问题。从2013年DQN（深度Q网络，deep Q network）出现到目前为止，深度强化学习领域出现了大量的算法，以及解决实际应用问题的论文， 本文将阐述深度强化学习的发展现状，并对未来进行展望。 　　1 　　 深度强化学习的泡沫 　　2015 年，DeepMind 的 Volodymyr Mnih 等研究员在《自然》杂志上发表论文 Human-level control through deep reinforcement learning[1]，该论文提出了一个结合深度学习（DL）技术和强化学习（RL）思想的模型 Deep Q-Network(DQN)，在 Atari 游戏平台上展示出超越人类水平的表现。自此以后，结合 DL 与 RL 的深度强化学习（Deep Reinforcement Learning, DRL）迅速成为人工智能界的焦点。 　　过去三年间，DRL 算法在不同领域大显神通：在视频游戏 [1]、棋类游戏上打败人类顶尖高手 [2,3]；控制复杂的机械进行操作 [4]；调配网络资源 [5]；为数据中心大幅节能 [6]

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 作者 | VVingerfly 编辑 | 陈大鑫 3D人体姿态和形状估计在最近几年是一个重要的研究热点，但大部分工作仅仅关注人体部分，忽略了手部动作，港中文联合Facebook AI研究院提出了一种从单张图片同时估计人体姿态和手部动作的新方法，展示效果好似科学怪物。 如下图左下和右下所示，易看出本文提出的方法姿态估计效果更好。 1 介绍 本文作者提出了一个3D人体全身运动捕捉系统 FrankMocap，能够从单目视频同时估计出3D人体和手部运动，在一块GeForce RTX 2080 GPU上能够达到 9.5 FPS。 作者提到 “FrankMocap” 是对现代普罗米修斯 (The Modern Prometheus)中科学怪人 (Frankenstein) 的怪物的致敬。 人们每天会拍大量的日常活动视频上传到网络，如果有一种基于普通摄像头的运动捕捉系统，能够捕捉视频中人体的运动，将在人机交互、人工智能、机器人等众多方向有所应用。 同时捕捉人体和人手的运动对这些应用同样重要，但人手只占身体的很小一部分，要想直接捕捉两者的运动是一个很难的问题。当前的大部分相关工作都只顾及图片中人体的3D姿态，忽略图片中人手的动作。有部分工作关注从单张图片同时估计人体的全身运动，但这些工作都是基于优化的方法

　　十几座尖顶建筑紧贴在露天矿井的边缘，在它们的上方，一个巨大的岩石拱门上，坐落着一座无法接近的房子。在别处，一条高架铁路环绕着一群五颜六色的塔楼，华丽的宝塔点缀着一片宽阔的铺砌好的广场。一台风车孤零零地在一座小岛上旋转，四周围绕着一群方块小猪。 　　 　　这就是《我的世界》中用 AI 风格建造的城市。 　　《我的世界》一直被玩家用来疯狂发明创造。粉丝们借助这款大热的沙盒游戏制作了很多复制品，从芝加哥市中心，到《权力的游戏》中的君临城。自发布以来的十年里，所有可以构建的东西都在这个游戏中得到了复制。 　　自 2018 年以来，《我的世界》也成为一个挑战创新能力的平台，可以帮助提高机器的创新能力。一年一度的 “我的世界生成式设计比赛”（简称 GDMC）要求参赛者构建人工智能，这种人工智能可以在以前从未见到过的区域生成逼真的城镇或村庄。虽然该比赛目前为止只是为了娱乐，但各位参赛选手所探索的 AI 技术，是现实世界中的城市规划人员可以使用的技术先驱。 　　《我的世界》中的生成式设计比赛向 AI 发起挑战，要求其为前所未见的地点设计居住区 　　成功的参赛者通常会借助多种技术来判断何时应把地面推平，或者是何处应该建造桥梁和建筑物。这些技术包括将居住区偏远部分连接起来的老式寻路算法，可以利用简单规则生成复杂结构的元胞自动机，以及机器学习。 　　过去三年中，这项比赛取得了很大进展

起因一 前几天，去个商场逛逛，突然有个小伙子给我一张传单，写着“人生苦短，我学Python”，就像从前“华尔街”英语一样... 接下来，我发现很多手机里电脑上关于“学Python”的广告... 从内心来讲，我觉得大家都学习一下编程思维是好事，毕竟现在讲“全民编程”了，但是似乎大家对Python给予了太高的期望。似乎大家都在传递一个信号“学Python”，就有更好的职位，就能找到好工作！（写这篇文章的目的，是希望大家正确认识学Python本身，并不是故意黑Python，我也黑不了） 起因二 由于工作的原因，每天也会查看大量求职者投递过来的简历，很多都是应届毕业生。不管什么专业的，都会写一下“学习过Python语言”，或者参加过类似培训。见得最多的，“有说自己做过一个爬虫的”，“有说用Python写过神经网络的“，”有说用Python处理数据的（其实就是简单表格）“... 由于大部分学习时间都很短，很多都是现成的模拟和照搬，对招聘者来说，最多就是认为你“兴趣面挺广”最多认为你还“挺爱学习”，但他不会指望你通过Python能做什么事儿。实际上也根本做不了什么，前端做不了，后台也不可能让学了几周Python的同学去做（现在企业真正用Python做后台的并不多，主流还是Java PHP Node C/C++ Go R等）。处理表格Excel可能更方便，人工智能看上去高大上但是一般公司用不上