人工智能

图解Reformer:一种高效的Transformer

拟墨画扇 提交于 2021-01-06 05:26:34
点击上方“AI公园”,关注公众号,选择加“星标“或“置顶” 作者: Alireza Dirafzoon 编译:ronghuaiyang 导读 在单GPU上就可以运行的Transformer模型,而且几乎不损失精度,了解一下? 如果你一直在开发机器学习算法用于处理连续数据 —— 例如语言处理中的文本,语音信号,或视频 —— 你可能听说过或使用过Transformer,你可能知道这和是推特中认为的不同于一个东西。 图1,打破僵局,摘自Chris Manning教授的推特 最近,谷歌推出了Reformer架构,Transformer模型旨在有效地处理处理很长的时间序列的数据(例如,在语言处理多达100万个单词)。Reformer的执行只需要更少的内存消耗,并且即使在单个GPU上运行也可以获得非常好的性能。论文 Reformer: The efficient Transformer 将在ICLR 2020上发表(并在评审中获得了近乎完美的分数)。Reformer模型有望通过超越语言应用(如音乐、语音、图像和视频生成)对该领域产生重大影响。 在这篇文章中,我们将努力深入Reformer模型并试着去理解一些可视化方面的指南。准备好了吗? 为什么是Transformer? 在NLP类的任务中,如机器翻译、文本生成、问答,可以被形式化为sequence-to-sequence的学习问题。长短期记忆

硕博教育改革加速推进:又一所高校打破导师“终身制”

懵懂的女人 提交于 2021-01-06 05:03:44
点击上方 “ AI算法与图像处理 ”,选择加"星标"或“置顶” 重磅干货,第一时间送达 研究生导师身份是否应该 “终身制” 一直是广受讨论的话题。 7月29日, 全国研究生教育会议 在北京召开, 习近平 主席 亲自 出席, 多项重磅指导意见出炉,在当下国内外环境下,此次研究生教育会议也显得尤其重要。 会后, 8月3日, 中国传媒大学 召开研究生教育会议,改革涉及招生考试、培养与学位、导师评聘、质量监控、学科专业设置等关键环节。 在导师管理方面,该校明确将通过实行评聘分离,动态管理,打破导师终身制。 在结果评价上,建立分级、分类评审体系。 实行学术型、专业型导师分类评审;校内导师、校外兼职导师、校外业界导师分类评审;普通、破格、重大影响力导师分级评审制度。 博导资格实行校外同行双向匿名评议,设立破格型博导、硕导资格评审通道和专硕导师资格评审通道。 以立德树人为导向,注重对导师爱岗敬业奉献度、所指导学生培养质量情况、代表性科研与创作成果情况等的考查,有奖有惩,建立多元立体的导师评价标准体系。 同时,探索增值评价,破除“唯项目”倾向,建立多样化成果代表作制。对于未达到岗位聘任科研项目成果要求的博导,实行重大预期成果制,签订协议后可申请岗位聘任招收博士研究生。 近日,另一所双一流高校, 华南理工大学 同样召开第十届学位评定委员会第十二次全体会议,领导 在会上表示

【整理】简单的数学期望和概率DP

孤者浪人 提交于 2021-01-06 02:40:47
数学期望 P=Σ每一种状态*对应的概率。 因为不可能枚举完所有的状态,有时也不可能枚举完,比如抛硬币,有可能一直是正面,etc。在没有接触数学期望时看到数学期望的题可能会觉得很阔怕(因为我高中就是这么认为的,对不起何老板了QwQ),避之不及。 但是现在发现大多数题就是手动 找公式 或者 DP推出 即可,只要 处理好边界 ,然后 写好方程 ,代码超级简短。与常规的求解不同,数学期望经常逆向推出。 比如常规的dp[x]可能表示 到了x这一状态有多少,最后答案是dp[n] 。而数学期望的dp[x]一般表示 到了x这一状态还差多少,最后答案是dp[0] 。 具体的看下面的题型吧,看完应该就有感觉了。 最后面几道是DP,感觉和数学期望关系不大,不看也罢。 一: Uva12230Crossing Rivers (数学期望) 题目大意: 有个人每天要去公司上班,每次会经过N条河,家和公司的距离为D,默认在陆地的速度为1, 给出N条河的信息,包括起始坐标p,宽度L,以及船的速度v。船会往返在河的两岸,人到达河岸时, 船的位置是随机的(往返中)。问说人达到公司所需要的期望时间。 思路: 1,过每条河最坏的情况是t = 3 *L/ v; 即去的时候船刚刚走。 2,过没条河最优的情况是t =L/ v; 即去的时候船刚刚来。 3,由于船是均匀发布的,符合线性性质,所以平均下来,过每条河的时间t = 2

自动驾驶2020:跨越险阻,珠峰沿途好风景

最后都变了- 提交于 2021-01-06 02:32:56
文 |魏启扬 来源|智能相对论(aixdlun) 2020年的疫情是一块试金石,也是一针催化剂。 自动驾驶的泡沫本已被戳破过多次,然而,2020年残酷的市场环境之下,行业再次经受历练,有离开的,有彷徨的,当然,也有风光无两,高歌猛进的。 从Robotaxi全面开放测试,到安全员被请出驾驶室;从4.6亿智能交通超级项目落地,到智能汽车大批量产…… 自动驾驶在2020年取得的商业成绩超过以往任何一年,我们可以将其视为技术精进之后的必然爆发;也可以视为跨越最初的险阻,完成从0到1的积累之后,开始有闲暇心情欣赏攀登珠峰沿途的风光。 有初创企业持续融资,也有明星公司陨落 2019年,我们为Drive.ai、RoadStar这样的明星公司陨落而唏嘘不已,也为Argo AI、Cruise等公司拿到巨额融资而兴奋。 自动驾驶行业的冷暖两面在2020年依然延续。 先是3月份,首家公开测试自动驾驶卡车的明星公司Starsky Robotics毫无征兆的直接破产,接着6月份时,累计融资超过70亿元的自动驾驶公司Zoox因“资金链断裂”而卖身亚马逊,但其收购标价还不及上一轮融资估值的一半。 与此同时,Cruise、Kodiak、Ike、Starship等自动驾驶公司也先后曝出裁员消息。 是疫情的原因压垮了这些企业吗?相反,无人驾驶“无接触服务”的特点让其在抗疫前线成为现象级的存在,特别是低速无人车迎来爆发

从滴滴大雨中直播,看迫近的自动驾驶商业化

浪子不回头ぞ 提交于 2021-01-06 02:32:36
文|李永华 来源|智能相对论(aixdlun) 沉寂了很久之后,自动驾驶“终于”又闹出很大的动静,让人相信这个领域仍然在快速前进。 几天前,央视亲自下场,对网约车平台滴滴的自动驾驶技术进行了一次试乘直播。长达两个小时的直播,区别于那些被剪辑过的自动驾驶demo视频,配合记者和技术人员的讲解第一次把自动驾驶完整、赤裸地展现出来。 滴滴不太走运,在上海嘉定的这次直播碰上了大雨,对自动驾驶而言,大雨环境行驶如同人自己开车在大雨中不开雨刮器一样,高度考验辨识能力和应对能力,好在滴滴的自动驾驶全程基本没有“翻车”,大雨反而让这个网约车平台反向证明了自己的技术实力。 而这个直播也成为自动驾驶领域少有的舆论热点,在微博、朋友圈引发广泛关注。可以发现,新基建大背景下,从官媒到普罗大众,对自动驾驶的热情在快速升温。 不论如何,自动驾驶再次高调露面,而且是以Robotaxi全流程运营的方式,显然不只是像过去那样为了“秀肌肉”,这其中有关自动驾驶商业化的痕迹更浓厚了一些,在技术考验之外,我们还可以从中看到一些商业化的蛛丝马迹。 01 自动驾驶商业化锁定Robotaxi,网约车更快一步? 自动驾驶的商业化本身也是一个笼统的概念,究竟怎么落地,有很多路径。 比如,在公共交通领域,与企业合作推出“特供车”,用于特殊用途,像无人巴士等,矿山领域的无人矿车甚至已经开始运营; 又比如,把解决方案卖给厂家

解读自动驾驶的2020:从硬件角度看,无人车商业化落地难在哪?

蓝咒 提交于 2021-01-06 02:05:14
来源 :AI前线 作者 :滴滴自动驾驶技术团队 策划 :陈思 「重点问题」 什么是合适的无人驾驶车辆平台? 复杂场景下的“无人驾驶”,传感器硬件系统还有哪些挑战? 告别 demo 硬件系统后,下一个前装量产的必经阶段是什么? 前装量产无人车真的已经走进现实了吗? 在自动驾驶领域,关于车和硬件的新闻非常多,某顶级 OEM 和某头部科技公司达成战略合作要前装量产,某革命性的自动驾驶硬件横空出世。究其原因有三: 首先,自动驾驶汽车的本质属性仍然是车。自动驾驶技术终究需要车作为载体,同时出行服务也需要落实到车这个终端上。 其次,随着行业的进步,也逐步认识到自动驾驶是一个软硬件强耦合的系统工程,车辆硬件和软件算法是鱼和水的共生关系。 再次,很现实的问题是就算顶级 OEM 也对复杂软件系统与 AI 鲜有很强的应对能力,同样科技公司想补齐汽车硬件的研发能力与克服生产制造壁垒短期也是不现实的。所以,车厂、Tier1 和科技公司走向一起势在必行。 而要做到真正的商业化落地,还必须要考虑成本可控和前装量产两大难题。在多重难题叠加的模式下,自动驾驶车辆硬件如何应对挑战,朝究极形态演进与进化? 一、自动驾驶车辆平台 如何评估与改造一个合适的自动驾驶车辆平台,涉及的技术核心包括: 是否有先进的整车架构与动力总成,如何实现底盘线控,如何实现冗余(包括转向、制动、通信、供电系统等),是否有开放的原车协议

基于springboot2的开源OA办公系统

心已入冬 提交于 2021-01-06 01:10:42
Active4j-oa是基于 active4j-jsp 快速开发框架构建而来的OA办公系统。基于springboot2.0,以Spring Framework为核心容器,Spring MVC为模型视图控制器,Mybatis Plus为数据访问层, Apache Shiro为权限授权层, Redis为分布式缓存,Quartz为分布式集群调度,JSP作为前端页面引擎,采用JSTL标签库封装组件的开源框架。 项目介绍 Active4j-oa是基于 active4j-jsp 快速开发框架构建而来的OA办公系统。基于springboot2.0,以Spring Framework为核心容器,Spring MVC为模型视图控制器,Mybatis Plus为数据访问层, Apache Shiro为权限授权层, Redis为分布式缓存,Quartz为分布式集群调度,JSP作为前端页面引擎,采用JSTL标签库封装组件的开源框架。 Active4j-oa目前内置了绝大部分常见办公系统功能,包括系统管理,工作流管理,个人办公,人力资源管理,执行力管理等几大模块。开发者只需根据具体业务需求,稍加改进,就可以开发出一套完整的OA办公系统。 技术文档 讨论加群:qq群①:203802692 qq群②:773872959 演示地址: http://www.active4j.com:9005/oa 官方网站:

深入理解 Java 内存模型

三世轮回 提交于 2021-01-05 23:42:12
Java内存模型(Java Memory Model,JMM)是java虚拟机规范定义的,用来屏蔽掉java程序在各种不同的硬件和操作系统对内存的访问的差异,这样就可以实现java程序在各种不同的平台上都能达到内存访问的一致性。可以避免像c++等直接使用物理硬件和操作系统的内存模型在不同操作系统和硬件平台下表现不同,比如有些c/c++程序可能在windows平台运行正常,而在linux平台却运行有问题。 物理硬件和内存 首先,在单核电脑中,处理问题要简单的多。对内存和硬件的要求,各种方面的考虑没有在多核的情况下复杂。电脑中,CPU的运行计算速度是非常快的,而其他硬件比如IO,网络、内存读取等等,跟cpu的速度比起来是差几个数量级的。而不管任何操作,几乎是不可能都在cpu中完成而不借助于任何其他硬件操作。所以协调cpu和各个硬件之间的速度差异是非常重要的,要不然cpu就一直在等待,浪费资源。而在多核中,不仅面临如上问题,还有如果多个核用到了同一个数据,如何保证数据的一致性、正确性等问题,也是必须要解决的。 目前基于高速缓存的存储交互很好的解决了cpu和内存等其他硬件之间的速度矛盾,多核情况下各个处理器(核)都要遵循一定的诸如MSI、MESI等协议来保证内存的各个处理器高速缓存和主内存的数据的一致性。 除了增加高速缓存,为了使处理器内部运算单元尽可能被充分利用

难怪都去搞Python,这也太壕了!

最后都变了- 提交于 2021-01-05 22:18:13
不久前,清华大学经管学院发布了《中国经济的数字化转型:人才与就业》的报告,根据报告显示,当前我国大数据领域人才缺口高达150万,到2025年将达到200万。 数据来源:2019年中国AI&大数据人才大数据人才就业报告 这份报告 对国家而言 ,是提前规划、提前布局的参考, 对企业而言 ,是切入下一赛道的征兆, 而对于普通人而言, 则是一个机会,一个能够获得快速晋升,甚至实现财富自由的机会。 细数现在国内的互联网产品,淘宝电商老大地位不可动摇;腾讯则牢牢占据社交、游戏大部分份额;抖音、快手引领短视频风潮…… 这些公司除了占据行业先发优势之外,完备的数据也是它们成功的重要原因,甚至有人笑称, 比你更了解你自己的不是你妈,而是这些公司。 如果把数据比作企业发展的“石油“,那么掌握 如何将其提炼为可使用的情报 就是发挥其潜力的关键。 “我知道客流量在最近一个月减少了30%,所以该怎么办呢?” “模型预计本月销售额增长30%,我只要维持现状就能稳定增长吗?” “我有过去一年几万条的销售记录,这些记录能发挥什么作用呢?” 这些数据说明了什么,到底我要怎么做,通过这些数据得到结论是企业最迫切的事情。 会“分析“的人很多,但能从繁杂的数据中得到具体结论的 商业数据分析人才 却是凤毛麟角。 现在用人市场上每一个商业数据分析的人才都能引起各大公司争夺,甚至有公司开出了令人瞠目结舌的“ 天价 “。