神经网络

来源|专知 【导读】多任务学习是机器学习一类重要的方法。在深度学习背景下，多任务学习有了新的进展。这篇综述论文概述了最近流行的MTL模型的优缺点。 尽管在深度学习方面取得了最近的进展，但大多数方法仍然采用类似“筒仓”的解决方案，专注于孤立地学习每个任务:为每个单独的任务训练一个单独的神经网络。然而，许多现实问题需要多模态方法，因此需要多任务模型。多任务学习(MTL)旨在利用跨任务的有用信息来提高模型的泛化能力。 在这个综述中，我们提供了一个最先新的在深度神经网络的背景下MTL技术的全面视角。 我们的贡献涉及以下方面。首先，我们从网络架构的角度来考虑MTL。我们包括了一个广泛的概述，并讨论了最近流行的MTL模型的优缺点。其次，我们研究了解决多任务联合学习的各种优化方法。我们总结了这些工作的定性要素，并探讨了它们的共性和差异。最后，我们在各种数据集上提供了广泛的实验评估，以检查不同方法的优缺点，包括基于架构和优化的策略。 Revisiting Multi-Task Learning in the Deep Learning Era ​ arxiv.org 概述 在过去的十年中，神经网络在许多任务中都显示了令人印象深刻的结果，例如语义分割[1]，实例分割[2]和单目深度估计[3]。传统上，这些任务是单独处理的，即为每个任务训练一个单独的神经网络。 然而，许多现实世界的问题本质上是多模态的

点击上方“3D视觉工坊”，选择“星标” 干货第一时间送达 上期文章介绍了用于 三维重建的深度学习框架MVSNet [1]，这也是如今比较主流的深度估计的神经网络框架。框架的原理按照双目立体匹配框架步骤：匹配代价构造、匹配代价累积、深度估计和深度图优化四个步骤。使用过MVSNet的同学会发现，MVSNet使用3D的卷积神经网络对聚合后的代价体进行正则化，防止在学习过程中，受到低概率的错误匹配影响。 但使用三维卷积神经网络（U-Net[2]），会造成非常大的GPU消耗，使得我们在使用过程中，受到一定的限制。同时，因为该正则化的模块，导致普通GPU单卡下无法训练和测试较高分辨率的影像集，也会影响深度估计范围和估计精度。 图1 MVSNet代价体正则化 针对该问题，本篇文章将介绍CVPR2019的R-MVSNet[3]，并简单根据代码，介绍运行步骤和对应的问题。 1、R-MVSNet R-MVSNet同样是香港科技大学姚遥等人在CVPR2019上提出的一种深度学习框架，它在MVSNet的基础上，解决了正则化过程中GPU消耗大、无法估计较大场景和高分辨率照片的问题。R-MVSNet的网络结构如下： 图2 R-MVSNet网络结构 和MVSNet的结构类似，给定一个参考影像和与其类似的原始影像，通过2D CNN网络进行深度特征的提取，每张影像输出32通道的特征图。在参考平面扫描算法[4

准备 我的环境是python3.6,sc2包0.11.1 机器学习包下载链接： pysc2 地图下载链接： maps 游戏下载链接： 国际服 国服 pysc2是DeepMind开发的星际争霸Ⅱ学习环境。 它是封装星际争霸Ⅱ机器学习API，同时也提供Python增强学习环境。 以神族为例编写代码，神族建筑科技图如下： 教程 采矿 # -*- encoding: utf-8 -*- ''' @File : __init__.py.py @Modify Time @Author @Desciption ------------ ------- ----------- 2019/11/3 12:32 Jonas None ''' import sc2 from sc2 import run_game, maps, Race, Difficulty from sc2.player import Bot, Computer class SentdeBot(sc2.BotAI): async def on_step(self, iteration: int): await self.distribute_workers() run_game(maps.get("AcidPlantLE"), [ Bot(Race.Protoss, SentdeBot()), Computer(Race

% BP 神经网络用于模式分类 clc clear close all %--------------------------------------------------- % 产生训练样本与测试样本，每一列为一个样本 P1 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]; T1 = [repmat([1;0;0],1,5),repmat([0;1;0],1,5),repmat([0;0;1],1,5)]; P2 = [rand(3,5),rand(3,5)+1,rand(3,5)+2]; T2 = [repmat([1;0;0],1,5),repmat([0;1;0],1,5),repmat([0;0;1],1,5)]; %--------------------------------------------------- % 归一化 [PN1,minp,maxp] = premnmx(P1); PN2 = tramnmx(P2,minp,maxp); %--------------------------------------------------- % 设置网络参数 NodeNum = 10; % 隐层节点数 TypeNum = 3; % 输出维数 TF1 = 'tansig';TF2 = 'purelin'; % 判别函数(缺省值)

程序员欢乐送（第20期） 收录于话题 #程序员欢乐送 59个 对于我来说，我一直保持的追求有三点：技术、快乐、财富。因此，从此三点出发，记录过去一周，我所看到的，值得分享的内容，每周五把欢乐送达。 由于微信不允许外部链接，你需要点击页尾左下角的“ 阅读原文 ”，才能访问文章的链接，文中的所有链接已使用 蓝色字体标记 。 「 技术 Technology 」 1、Windows Terminal 微软Build大会上，微软正式发布了命令行工具Windows Terminal，该工具提供多标签、分割窗口、快捷键、完整的Unicode字符支持等功能。 最重要的是，它支持PowerShell，Cmd，WSL（Windows的Linux子系统）和SSH等命令行程序，可以说是全平台制霸，简化开发者的工作流程。 微软还给Windows Terminal加入很多细节功能，让它更美观。 项目地址： 点击查看 2、Google Assistant 微软Build大会之后紧跟着的就是Google I/O 2019大会，两位巨佬为很多公司指引方向。在Google I/O 2019大会上，Google Assistant再次进化，移动端实时识别语音速度提升 10 倍！ 如今的语音助手和人的对话已经接近自然，在与 Google Assistant 对话中，用户可以跨越手机上的 APP 工作。 除此之外

　　 　　作者 | 黄善清 　　编辑 | 陈大鑫 　　一年一度的 IOI 竞赛正在新加坡召开，如无意外，中国队又将在这场属于中学生的信息学狂欢盛宴中收获丰盛。从第一届 IOI 赛事开始，中国每年都会派遣学生前往参赛，至今已收获 86 枚金牌，为中国计算机领域输出了大批的信息学顶尖人才。 　　这批从 IOI 走出来的顶尖高手，有的以改变产业为己任，以 96 年金牌得主搜狗公司 CEO 王小川为例，在时代的浪潮中贡献出自己的一份力量；有的醉心于科研，以 04 年金牌得主鬲融为例，源源不断地为计算机学界贡献一篇又一篇富有洞见的研究成果，甚至夺下计算机领域的重要大奖；有的甘于平淡，04 年的另一名金牌得主胡伟栋，则在自己最热心的奥林匹克竞赛教育领域自得其乐。 　　今天 AI 科技评论就盘点一下这批从 IOI 赛事走出来的少年天才们，后来怎么一步步活成了自己想要的模样。 　　 1 　　 产业界 　　 王小川，96年金牌得主 　　“我喜欢编程，对我来说，编程是创造一个生命。这个生命有你的技术展示，有你的思想注入，有你对美的理解，最后产生表达虚拟运行的生命，程序是有生命的。” 　　 　　 　　96 年获奖成绩 　　在拿到 IOI 金牌以前，二年级的王小川便已经展露了计算机方面的过人天赋。即便 1985 年的计算机的编程速度还很慢，他依然用来做了几件让老师和同学们感到震惊的事情

2020 IJCAI 接受论文 list 分类排列（一） 2020 IJCAI 接受论文 list 分类排列（二） 2020 IJCAI 接受论文 list 分类排列（三） 目录 Main track (Agent-based and Multi-agent Systems) Main track (AI Ethics) Main track (Computer Vision) Main track (Constraints and SAT) Main track (Data Mining) Main track (Heuristic Search and Game Playing) Main track (Humans and AI) Main track (Agent-based and Multi-agent Systems) A Deep Reinforcement Learning Approach to Concurrent Bilateral Negotiation Pallavi Bagga, Nicola Paoletti, Bedour Alrayes, Kostas Stathis A Multi-Objective Approach to Mitigate Negative Side Effects Sandhya Saisubramanian, Ece

程序员欢乐送（第21期） 收录于话题 #程序员欢乐送 59个 对于我来说，一直保持的追求有三点：技术、快乐、财富。因此，从此三点出发，记录过去一周，我所看到的，值得分享的内容，每周五把欢乐送达。 由于微信不允许外部链接，你需要点击页尾左下角的“ 阅读原文 ”，才能访问文中的链接，文中的所有链接已使用 蓝色字体标记 。 「 技术 Technology 」 1、LightTrack 这是一篇京东数字科技与匹兹堡大学5月7日公布的论文，现于PoseTrack的Multi Person Pose Tracking排行榜名列第一，在总体MOTA上以微弱优势击败微软的HRNet（尽管在总体AP上仍比HRNet低不少），代码已开源。 这是迄今第一篇以自顶向下方式完成在线人体姿态追踪的系统。作为一个框架，该工作中的姿态估计部分和ReID部分都是可以灵活替换的。 此外，作者还提出了孪生图卷积网络（Siamese Graph Convolution Network）并作为该系统中的Re-ID模块，以图的形式来表示人体关键点，以较低的计算量有效地学习人体姿态的相似度，并对相机的突然移动导致的偏移有较高的鲁棒性。 项目地址： 点击查看 2、MeshCNN MeshCNN是PyTorch中3D网格的卷积神经网络，用于3D三角网格的通用深度神经网络，可用于3D形状分类或分割等任务。

Self-Supervised Representation Learning by Rotation Feature Decoupling Zeyu Feng， Chang Xu， Dacheng Tao UBTECH Sydney AI Centre, School of Computer Science, FEIT, University of Sydney, Darlington, NSW 2008, Australia zfen2406@uni.sydney.edu.au, {c.xu, dacheng.tao}@sydney.edu.au 这篇文章在知乎和一些网上被提出质疑，该文其实就是将两篇文章进行了拼接组合。但这里我想说两句： 首先，我认为这种组合应该是有效的，是可行的； 其次，嘴下留情，点到为止，没有必要刻意放大。 我们最好多想想别人工作中好的地方。当然，维护学术风气非常重要，要从自己做起。 Abstract We introduce a self-supervised learning method that focuses on beneficial properties of representation and their abilities in generalizing to real-world tasks. The method

　　 编译 | 陈彩娴 　　编辑 | 陈大鑫 　　在过去的十年里，机器学习确实取得了巨大的突破，计算机视觉与语言处理方面也因此出现了许多改变世界的重要应用。但是，这股“春风”却没有吹到智能机器人领域。 　　针对机器人学习所面临的瓶颈，麻省理工学院机器人专家Leslie Pack Kaebling在《Science》上发表一篇名为《The foundation of efficient robot learning》的文章。她认为，造成这一现象的一个关键因素在于：机器人学习的数据只能通过在现实世界的操作中获得，成本非常高昂。 　　为此，Leslie女士提出， 实现下一代机器人学习的技术革新，需要应用新的算法、从自然体系中获取灵感，并灵活使用多项机器学习技术。 　　1 　　 强化学习是否真的那么灵？ 　　尽管监督学习取得了许多重要的成果，但在机器人学习领域，强化学习（RL）更具有优势，因为机器人要在人类世界中执行一系列不同的任务。 　　在监督学习中，学习算法被赋予输入与期望输出的配对示例，并学会将输入与期望输出关联起来。而在强化学习中，智能体能够根据事先设置的奖励信号来判断自己的表现是出色的，或是差劲的，进而选择恰当的行动方式，这与机器人所应用的复杂环境有利相关。简而言之，监督学习与强化学习的本质区别在于： 在强化学习里，智能体的行为对数据产生重大影响，并能控制自己的学习探索