深度学习

开源十周年,阿里大数据训练营重磅开启!全线技术专家免费上课,名额有限

﹥>﹥吖頭↗ 提交于 2020-08-19 13:11:41
大数据文摘出品 贾扬清的履历,在全球科技圈可以说都是近乎完美的。 作为AI深度学习领域两大著名框架Caffe和TensorFlow的核心作者,也怪不得业内流传这样一句话,要学习深度学习,绕不开贾扬清。 那么,由 贾扬清 亲自出品、邀请阿里云大数据产品技术leader和开源技术专家来做私教的大数据训练营,你觉得需要多少钱? 答案是:免费! 你没听错!就在本周, 由阿里云智能高级研究员贾扬清出品,邀请来自9个产品及技术团队的多位技术专家 ,倾力打造的训练营,正式开启! 2020年,是阿里开源技术的第十年。 除了对于社区的技术贡献之外,贾扬清表示,阿里也希望能跟开发者一起,分享核心技术,在开源、开放的社区互通有无。 本次 阿里大数据训练营“九营齐开” ,课程内容涉及 数据计算、数据分析、数据仓库、搜索、机器学习、数据智能等多个领域 ,涵盖了阿里云计算平台几乎所有的产品。每次课程都由阿里技术团队的leader和专家亲自上阵讲授,不仅讲清楚原理,还有 Demo 实操与应用实践,以丰富的内容打造史上阵容最强、干货最多、覆盖技术领域最广泛的训练营。 从第一期实时计算Flink开始,到离线和实时一体化的数仓MaxCompute和Hologres,也包括开源大数据的全家桶,EMR、ElasticSearch,Flink,以及灵活的机器学习平台PAI和数据综合治理平台DataWorks

MATLAB R2019b超详细安装教程(附完整安装文件)

夙愿已清 提交于 2020-08-19 09:57:06
摘要:本文详细介绍 M a t l a b 的安装步骤,为方便安装这里提供了完整安装文件的百度网盘下载链接供大家使用。从文件下载到证书安装本文都给出了每个步骤的截图,按照图示进行即可轻松完成安装使用。本文目录如首页: 目录 前言 1. 下载安装包 (1)下载链接 (2)解压文件 2. 正式安装步骤 3. 复制替换文件 4. 创建快捷方式 结束语 点 击 跳 转 至 博 文 涉 及 的 全 部 文 件 下 载 页 前言 M A T L A B (矩阵实验室)是 MATrix LABoratory 的缩写,是一款由美国 The MathWorks 公司出品的商业数学软件。 MATLAB 是一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。除了矩阵运算、绘制函数/数据图像等常用功能外, MATLAB 还可以用来创建用户界面及与调用其它语言(包括 C、C++、Java、Python 和 FORTRAN )编写的程序。 从大学时开始接触 MATLAB 到现在已过去7年,每当看到 MATLAB 更新不少新功能都不经为之激动,所以请允许我花一点篇幅介绍下 MATLAB R2019b 的亮点功能。下面的介绍内容来自 官方微信公众号推文 ,想直接看安装步骤的读者可点击目录 跳转至下一节 。 MATLAB R2019b 中的 MATLAB 亮点包括引入了 Live

重磅!悬镜作为IAST头部代表入围 2020《研发运营安全白皮书》

我与影子孤独终老i 提交于 2020-08-19 05:48:17
7月29日,云计算开源产业联盟在可信云线上峰会重磅发布了《研发运营安全白皮书》(以下简称“白皮书”),该白皮书由中国信息通信研究院、华为技术有限公司、深圳市腾讯计算机系统有限公司、阿里云计算有限公司、浪潮云信息技术股份公司、京东云计算(北京)有限公司等多家科研院所、企业单位联合编制。该白皮书“交互式应用安全测试”章节中提到: 目前交互式应用程序安全测试(IAST)主要厂商包括国外的Synopsys、Veracode 等,以及国内的悬镜安全、默安科技等。 悬镜安全凭借雄厚的技术实力和完备的产品体系,作为头部厂商入围云计算开源产业联盟 《研发运营安全白皮书》! 近年来,安全事件频发,究其原因,软件应用服务自身存在代码安全漏洞,被黑客利用攻击是导致安全事件发生的关键因素之一。随着信息化的发展,软件应用服务正在潜移默化的改变着生活的各个方面,渗透到各个行业和领域,其自身安全问题也愈发成为业界关注的焦点。传统研发运营模式之中,安全介入通常是在应用系统构建完成 或功能模块搭建完成之后,位置相对滞后,无法完全覆盖研发阶段的 安全问题。 在此背景下,搭建整体的研发运营安全体系,强调安全左 移,覆盖软件应用服务全生命周期安全,构建可信理念是至关重要的。 悬镜安全作为国内领先的敏捷开发安全厂商 ,首创基于AI情景感知的DevSecOps持续威胁管理技术,从源头追踪软件供应链在开发、部署

15 年老兵谈阿里云大规模机器学习实践

a 夏天 提交于 2020-08-19 04:25:23
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 近年来,机器学习技术的发展归因于我们有极其庞大的数据用来训练算法。当企业需要落地大规模机器学习时,往往会面临很多难题,如何解决这些问题?如何系统了解大规模机器学习落地的技巧?其适用场景是什么?InfoQ 希望通过该选题解决这些问题,并推动企业在大规模机器学习方面的实践。本文,InfoQ 有幸采访了阿里云机器学习研究员林伟,听他分享自己的经验和见解。 何为大规模机器学习 毫无疑问,我们已经迈入人工智能时代,机器学习几乎渗透了我们日常生活和工作的方方面面,创建深度学习模型越来越容易,但大规模工业部署却依然没有那么容易,第一现在模型变得越来越大,越来越深,需要强大算力和海量的数据才能够支撑训练出更好的模型;第二模型训练出来需要在推理的时候高效的执行才能真正让模型落地,这个里面就需要非常多系统工程优化,以及模型和工程一起的协同优化。当然并不是模型越大,训练效果就会一定好,模型本身的提高以及训练方式都决定了最终模型实际效果,这就需要我们也在算法,训练手段层面的突破。 对众多深度学习开发者而言,只要拥有一张 GPU 卡,很多流行的 AI 模型都可以得以训练。但对公司而言,随着业务需求的提高、精度要求的提高,就会面临更大模型、更多数据训练的需求

数据集暴增压力下,微信「扫一扫」识物训练如何优雅破局?

夙愿已清 提交于 2020-08-19 03:19:39
微信“扫一扫”识物上线一段时间,由前期主要以商品图(鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他)作为媒介来挖掘微信内容生态中有价值的信息,扩张到各种垂类领域的识别,包括植物/动物/汽车/果蔬/酒标/菜品/地标识别等,识别核心依托于深度学习的卷积神经网络模型。随着每天千万级的增长数据和越来越多的模型参数量,深度学习训练一次时间大概需要一周左右。如何能够快速训练优化模型并上线,成为我们亟待解决的问题。 一、引言 如今,依托强大的GPU算力,深度学习得到迅猛发展。在图像处理、语音识别领域掀起了前所未有的一场革命。相较于传统的方法,以卷积神经网络(CNN)为代表的深度学习方法可以高度地重点学习数据的特性,在图像处理领域已经取得了统治地位。 随着扫一扫识物日调用量的持续增加,图片数据正以每天千万级的量级增长,在这个争分夺秒的时代里,得数据者得天下。同时,神经网络的复杂性呈爆炸式增长,像15年微软提出图像分类的ResNet模型有7 ExaFLOPs/6千万个参数,17年谷歌的神经网络机器翻译模型有100 ExaFLOPS/87亿个参数。 在大部分场景下,模型可以在一台GPU服务器上,使用一个或者多个GPU进行训练。但随着数据集的增大,训练时间也相应增长,有些时候训练需要一周甚至更长时间。因此,如何能够快速迭代优化深度学习模型,成为我们算法开发者亟须解决的问题。

使用Google colab 路径问题报错记录

烂漫一生 提交于 2020-08-19 01:06:34
使用Google colab 路径问题报错记录 遇到问题 当使用colab训练yolov4代码时遇到了一个错误(其实以前也遇到过一样的错误,不过忘记怎么解决了) FileNotFoundError: [Errno 2] No such file or directory: '/content/drive/My' 错误尝试 最初我是觉得可能是由于哪些库的版本有问题,导致导入和发现对应的路径。因为我出现了如下错误: 由于显示了torch、PIL等库的错误,我以为是这些库版本存在问题,或者是环境不匹配。花了大半天去调试环境,试了很多torch、torchvison、pillow的版本,可报错依然发生。后来看见了一个博主的博客,解决了这个问题 解决经验 问题总结 其实原因很简单,就是因为Google的网盘叫My Drive,中间存在空格,在程序的读取和执行的过程中无法识别为整个整体,所以报了找不到路径的错误。我这里的代码是这个样子: def convert_annotation ( year , image_id , list_file ) : in_file = open ( 'VOCdevkit/VOC%s/Annotations/%s.xml' % ( year , image_id ) ) tree = ET . parse ( in_file ) root = tree .

跨域三大洲的圆桌讨论:人工智能的未来挑战与突破

冷暖自知 提交于 2020-08-19 00:53:56
     作者 | 蒋宝尚、青暮   编辑 | 丛 末   7月9日,世界人工智能大会开启了一场跨洲连线,参与连线的有六位嘉宾,他们就主题《人工智能的未来挑战与突破》进行了圆桌讨论。      其中香港科技大学讲席教授杨强作为主持人,其他五位嘉宾分别来自亚洲、欧洲和大洋洲:第四范式创始人戴文渊;新南威尔士大学Toby Walsh;香港科技大学张潼教授;英国帝国理工学院数据科学研究所所长、英国皇家工程院院士郭毅可;札幌市立大学校长中岛秀之。   在讨论环节中,各位嘉宾认可了人工智能现有的一些突破进展,也对人工智能当下的挑战进行了思辨。   杨强教授表示,AI举一反三的能力以及隐私保护是当下难点;戴文渊从企业的角度分析得出AI当下的挑战分别是,认知门槛、人才缺乏、企业部署AI的成本太大;中岛秀之表示,AI原始数据的处理方面还存在不足;张潼说,人工智能在迁移学习和小数据上还有很长的路要走;郭毅可提到,如何在数据和知识之间做区分和连接是AI的基础挑战。    1    人工智能目前的技术热点    杨强: 今天要探讨三个话题:第一,人工智能目前的技术热点;第二,人工智能遇到的挑战;第三,对人工智能的未来进行展望。   今天的几位嘉宾在业界和学界都有着长时间的从业经历,见证了人工智能和深度学习产生的深远的影响与重大突破。那么,该如何看待现在人工智能的技术突破呢

美颜深度学习系列之人像审美

萝らか妹 提交于 2020-08-18 23:32:56
美颜是个常见的话题,暗藏了一个基础性的问题,什么是美,也就是人像之审美。今天图玩智能科技就为大家分享一下,什么是中国人审美的标准 中国人审美的标准: 1,面部轮廓——“三庭五眼”; 2,人脸正中垂直轴上——“四高三低”; 3,人脸正中水平轴上——“丰”; 4,五官精致 符合上述三个条件,即中国人眼中的美貌了。 下面我们来具体分析: ①三庭五眼 世界各国普遍认为“瓜子脸、鹅蛋脸”是最美的脸形,从标准脸形的美学标准来看,面部长度与宽度的比例为1.618∶1,也就是黄金分割比例。 我们中国人所谓的三庭五眼,是人的脸长与脸宽的一般标准比例,从额头顶端发际线到眉毛、从眉毛到鼻子、从鼻子到下巴,各占1/3,这就是“三庭”;脸的宽度以眼睛的宽度为测量标准,分成5个等份,这就是“五眼”,具体如下图所示: ②四高三低 所谓“四高”是指: 第一高点,额部; 第二个高点,鼻尖; 第三高点,唇珠; 第四高点,下巴尖; 所谓“三低”是指: 第一低,两个眼睛之间,鼻额交界处必须是凹陷的; 第二低,在唇珠的上方,人中沟是凹陷的,美女的人中沟都很深,人中脊明显; 第三低,在下嘴唇唇的下方,有一个小小的凹陷; “四高三低”在头侧面相上最明确,如下图所示: ③“丰”字审美 “丰”是指人脸正中横轴上符合“丰”字审美准则。在人的面部上画上一个“丰”字,来判断美丑。先作面部的中轴线,再通过太阳穴(颞部)作一条水平线

Face++的AutoAssign(附源码)

我们两清 提交于 2020-08-18 21:04:59
​首先,从idea上讲,AutoAssign将label assignment完全做成端到端地(或者实际上是dynamic soft的),并且仅使用了最小先验(仅正样本的candidate location在gt框内部),的确算的上是一篇重量级并很general的作品。其次,这也是一篇可以预见的paper,具体可以参见Jianfeng Wang(也就是本文二作)在知乎上的回答如何评价zhangshifeng最新的讨论anchor based/ free的论文? http://www. zhihu.com 在该回答中,Jianfeng犀利地指出ATSS虽然利用统计量“动态”分配了正负样本,但这实际上是一种伪动态,因为样本的分配方式在数据集和网络配置完成之后其实是固定的,并不会随着训练过程而产生更好地调整和变化。正如Jianfeng所说,“有很多个项目,模型本身是一模一样的,但因为数据resolution不同,ground-truth的size不同,每个项目拿过来都要重新调anchor或者调分层参数,不仅是研究员和工程师的精力成本,也是自动化的障碍,在学术上还是更好解scale问题的阻碍;这个事,能不能训练的时候自己就学了?”,于是就有了这篇AutoAssign。接下来我们深入地理解一下AutoAssign是怎么操作的。从理念上来讲,AutoAssign跳出了此前object

开源的中国叙事

久未见 提交于 2020-08-18 14:32:12
编者按: AI 源创专场的策划,酝酿一年之久,形成半年之前。2020 年 1 月 8 日,采访洪强宁的那个下午,洪强宁说了一句让人印象深刻的话,“全世界的程序员是一个共同体”。使这个共同体成为可能的,就是开源。具体报道可参见《“教授”洪强宁和他穿越的技术江湖》,阅读访问:https://mp.weixin.qq.com/s/UCQaNMQ3rfCwfsOApCupyA。 在此之前,崔宝秋也两次谈及多年追随开源的心路历程,作为雷军同寝室的同学,崔宝秋毕业之后先去了中科院计算所读博士,1995 年去纽约州立大学石溪分校继续深造。他开始接触自由软件和开源软件,博士论文涉及的代码也全部开源。无论后来在 IBM、雅虎、 Linkedin,直到在小米,崔宝秋都是坚定的开源信徒,从未有过动摇。开源也是崔宝秋和 Daniel Povey 惺惺相惜的重要原因。具体报道可参见《小米崔宝秋:开源是软件的未来,中国 AI 的未来》。 现任 OpenI 启智平台秘书长和鹏城实验室 AI 开源平台办公室主任的刘明,20 年前就和开源结下了不解之缘。作为一个开源老兵,他曾任全球首个中文 Linux 版本、香港上市企业冲浪 Linux 总经理,还曾担任过永中 Office 总经理,在基础软件领域声名显赫。从民间到庙堂,从西方到东方,刘明的故事正是 20 年中国开源故事的缩影。喜欢八卦的同学