深度学习

介绍 　　变分自编码器（variational autoencoder, VAE）是一种生成模型，训练模型分为编码器和解码器两部分。 　　编码器将输入样本映射为某个低维分布，这个低维分布通常是不同维度之间相互独立的多元高斯分布，因此编码器的输出为这个高斯分布的均值与对数方差（因为方差总是大于0，为了将它映射到$(-\infty,\infty)$，所以加了对数）。在编码器的分布中抽样后，解码器做的事是将从这个低维抽样重新解码，生成与输入样本相似的数据。数据可以是图像、文字、音频等。 　　VAE模型的结构不难理解，关键在于它的 损失函数 的定义。我们要让解码器的输出与编码器的输入尽量相似，这个损失可以由这二者之间的二元交叉熵（binary crossentropy）来定义。但是仅由这个作为最终的目标函数是不够的。在这样的目标函数下，不断的梯度下降，会使编码器在不同输入下的输出均值之间差别越来越大，而输出方差则会不断地趋向于0，也就是对数方差趋向于负无穷。因为只有这样才会使从生成分布获取的抽样更加明确，从而让解码器能生成与输入数据更接近的数据，以使损失变得更小。但是这就与生成器的初衷有悖了，生成器的初衷实际上是为了生成更多“全新”的数据，而不是为了生成与输入数据“更像”的数据。所以，我们还要再给目标函数加上编码器生成分布的“正则化损失”：生成分布与标准正态分布之间的KL散度（相对熵）

　　2020 WAIC·开发者日将于7月10日-11日线上举办。多伦多大学助理教授、向量学院联合创始人、NeruIPS 2018 最佳论文奖得主，将带着对微分方程和连续时间的最新思考出现在 WAIC 开发者日。 　　提到 David Duvenaud 你或许有些陌生，但最近大热的「神经常微分方程」想必你一定听说过。 　　《Neural Ordinary Differential Equations》获得 NeruIPS 2018 最佳论文奖，David Duvenaud 正是该论文的通讯作者，也是论文一作陈天琦的导师。 　　 　　David Duvenaud 是多伦多大学向量学院的创始人之一，能源预测和贸易公司 Invenia 的联合创始人，目前在多伦多大学担任计算机科学助理教授。 　　他在剑桥大学获得博士学位，后在哈佛大学 Intelligent Probabilistic Systems 实验室完成博后工作。 　　目前，他在多伦多大学教授概率学习和推理、机器学习统计方法、可微分推断和生成模型等课程，指导的学生有陈天琦、Jesse Bettencourt、Dami Choi、Will Grathwohl、Eric Langlois、Jonathan Lorraine、Jacob Kelly 和 Winnie Xu。 　　 David Duvenaud 与微分方程的羁绊 　

在科技高速发展的今天，人工智能是一个很酷很潮的字眼，几乎每天都出现在科技媒体中，人工智能应用案例应接不暇：人工智能写稿取代编辑、人工智能医疗诊断取代医生、人工智能定投取代基金经理人、人工智能机器人取代银行大堂经理、人工智能自学习策略取代产品经理…… 很多人认为学习人工智能知识门槛较高、学习难度较大，便只好望而却步。实际上，入门人工智能并不难，对于初学者来说，可以根据自己的发展规划来制定学习路线，如果未来要从事行业领域内的人工智能技术开发，可以分别学习编程语言和人工智能平台知识，然后通过实践来提升开发能力。 在这个AI大时代下，零基础如何学习并进入人工智能领域，享受到人工智能风口的红利？个人又该如何合理规划学习路线提高竞争力？ 本号强烈推荐你参加 《人工智能基础实战训练营》 ，从零基础入门到进阶，帮你收获人工智能的基本应用知识，并且学会使用模型框架落地实战。内容不错，推荐给你们。 3天时间，带你学会人工智能 ▼ 仅需 3天 时间，每天 120分钟 左右 课程配备有专职 班主任督促学习、群内互动交流干货分享不断、更有资深助教 为大家在线答疑解惑。 聚焦人工智能实战训练。 限时福利 9月9日 19点前 早鸟价 仅需 4 9 元 原价399元 按照要求 3天全勤全部返还 = 0元学 扫描下方二维码 报名 每递增200人价格将上涨50元 ????立即扫码加入我们????

技术人成长之路荆棘遍布，30岁左右被手握新技术、加班凶猛的后辈冲击，转型管理成为前行的通行证；35~40岁，掌握了管理技能、薪水更低的后浪再次袭来，能否补全商业思维、从成本模型跃迁为价值创造者、战略护航者，又一次成为生死考验。 程军打造的公众号“军哥手记”，是2020年初技术圈内的现象级自媒体。如今他站在阻隔技术人成长的叹息之墙前思考未来，陪伴着他的两位好友，名唤“焦虑”和“希望”。 参考阅读： 1个月错失百万，为什么还要感恩饿了么？ 为什么我放弃近千万期权离开贝壳找房？ 40岁之后不想打工 科创人：您长文回顾饿了么、贝壳找房两段经历的文章在圈内反响强烈，能否介绍下离职贝壳后的经历？ 程军：2019年3月离职贝壳后，我做的第一件事是寻找创业机会，当时有一个完整的想法，是钓鱼相关的一个互联网服务产品，简单说就是野钓信息的付费分享。我本人非常喜欢钓鱼，钓鱼带给我很多人生思考，但是作为创业项目来说，我接触了很多投资人朋友，他们的意见是这个市场很小，整体市场规模也就3000多万人，在互联网行业来说是很小的一个数字。我也测算过，在上海我家三公里范围内的钓鱼玩家可能也就1000多人，大部分还是有一定年龄的中老年用户，他们对互联网产品接受度天然偏低。纠结了大概半年还是放弃了，给孩子买了个学区房（笑）。 9月的时候入职了一家奢侈品电商企业，融到B轮，期权条件都还不错，月流水过亿

前言 很有幸参加了百度架构师手把手带你零基础实践深度学习这门课，这门课非常适合没有基础的小白，在这门课里不仅可以学习知识还可以锻炼自己的思考能力 。如果你也是一个想要学习却又没办法克制自己的小伙伴，一定要参加这门课。也可以关注百度AI Studio 里面的其他的课。来这里是最正确的决定！ 一、我的基础 我是完全的没基础。我确实上过深度学习人工智能等等课。但我一点没听，全程睡觉。大概也就是知道个名字。所以我的写代码能力为0，基础知识也为0.而我有一个最突出的不知道是优点还是缺点的特性，就是我很佛系。我什么也不会，但不为此而难过。我总是觉得人到了一定阶段就会有一定的机缘。莫强求，是你的终究是你的不是你的也得不到。近6年学习总是静不下心，学不进去，只要能玩必须玩一玩。但我却在这个夏天爱上了这门课，疯狂的喜欢上了这门课，为此我努力的克服了自己的诸多毛病，不再贪玩，认认真真学，努力的跟着课程走了下来。 二、课程最吸引我的点 1.高大上 初次进入平台就觉得很正规很高大上。平台做的超级好，各种功能特别齐全。 2.操作简单 这里面有完整的教程，特别特别的详细，所以我很快就可以上手了。这让我的自信心得到了大大的提升。而且还学会了暗黑版本，我的电脑再也不用白花花的看着不舒服了。都愿意登网页了。 3.老师同学们超级好，重点！！！ 老师讲解的特别的细致，课程有直播还要录播。直播的时候可以发弹幕，老师都会看

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 简介： 胡逢法作为阿里云 MVP，是一名经验丰富的人工智能领域研究专家，谦虚诚恳、精力充沛。在智能图像视频分析、智能交通等诸多领域研发深有建树，拥有发明专利十余项，希望他的看法能给大家带来启发。 以下是胡逢法的专访，推荐阅读（约5分钟）。 思考点燃理想，尝试成就结果 初中时，学校附近有个工厂，课余时间经常跑到那里去看工人干活，看到很多场景觉得比较好玩，比如工人在做产品质量检查，当时都是用肉眼去看的，我当时想，这类工作得一个个用人去看去记录，要是用机器自动去完成该多好，那时我对自动化及视觉设备这一块应该已经萌生了兴趣。读研的时候，我发现图像处理这些研究很有实际应用价值，例如机器替代人工去做很多繁琐且辛苦的事情可以缓解很多工人的压力等。所以我的学习和工作也一直在做这些方面研究，我逐渐地把自己的想法，通过结合各个模块的知识添加到系统里的方式来实现很多功能。 以前我是做算法类的，只要把某个功能点写好即可。智慧园区的一个项目需要我从技术和业务两个角度考虑问题，不同的视角不断碰撞，于是产生新的点子。在这个过程中有很多知识和技术可以更好地结合利用起来，做出的效果令人很有成就感，对个人的经验和能力来说都有很大提升。 负重前行，每一次转折都弥足珍贵 我的职业生涯有几次较大转折

点击上方“3D视觉工坊”，选择“星标” 干货第一时间送达 9月14日，享誉全球的USNews2021美国大学排名正式出炉。今年发生了哪些变化？ 主要变化 TOP10变化不大，除了一些名次上的微调外， 最大的改变就是加州理工和杜克大学的一进一出 。以加州理工大学的申请难度来看，即便不在前十，仍然让人望而却步，这次进入前十，也是顺理成章。 TOP20的变化实际也不多，康奈尔从17降到了18，但相信依然是无数学生的梦校。TOP30的变化较多，其中最大的亮点是 UCSB的回归以及佛罗里达大学的挺 进 。UCSB两年前来到前30后，去年降到34，今年归来，生命力顽强！不得不说的是大型公立学校UF，这几年排名稳步上升，为公立学校争光。 可惜的是 佐治亚理工从去年的29掉落到了35 ，不过大家千万不要认为申请难度也会随之降低。同样 跌出TOP30 的还有罗切斯特大学 ，看来想要坐稳前三十，还要继续努力，争取像UCSB一样知耻而后勇。 TOP40的排名变化明显，杜兰、BU、布兰迪斯、凯斯西楚大学都下降了1-2名，而降幅最大的要属今年排名49东北大学，再降就跌出前五十了，要加油！ TOP50的学校中，几个公立学校有小幅度提升，包括UTA，UWM，UGA和UIUC。而迈阿密大学的回归，也让人欣慰，毕竟UM除了去年外，几乎都是TOP50的学校。 RPI持续性下跌，让人遗憾，希望随着下跌

Embedding的含义 根据tf.keras.layers.Embedding的解释 是将正整数转换为固定长度的连续向量，它和one-hot编码的作用类似，都是对数据字符数值进行编码。 不同之处是，embedding是将一个单纯的数值转换成一个长度唯一的概率分布向量，再避免one-hot编码产生的特征稀疏性问题的同时，也能增加特征的描述。 需要注意的是，当embedding进行神经网络构建时，embedding层必须作为第一层对输入数据进行embedding处理。其配置的参数如下 input_dim: 配置字典的长度。embedding 是针对词频字典中的索引进行处理的，因此需要配置字典的长度。 output_dim: 配置神经网络层输出的维度。 embeddings_initializer: 配置embedding 矩阵的初始化 embeddings_regularizer: 配置embedding 矩阵的正则化方程 embedding_constraint: 配置embedding 的约束函数 mask_zero: 配置"0"是否为Padding的值，如果配置为True, 则将所有的"0"去掉 input_length: 配置输入语句的长度，将不足长度的用0填充。 其中 input_dim 和 output_dim必须指定 当时，我看这个解释还是比较懵逼。 举个小例子吧

上两个月参加了个比赛，做的是对遥感高清图像做语义分割，美其名曰“天空之眼”。这两周数据挖掘课期末project我们组选的课题也是遥感图像的语义分割，所以刚好又把前段时间做的成果重新整理和加强了一下，故写了这篇文章，记录一下用深度学习做遥感图像语义分割的完整流程以及一些好的思路和技巧。 数据集 首先介绍一下数据，我们这次采用的数据集是CCF大数据比赛提供的数据（2015年中国南方某城市的高清遥感图像），这是一个小数据集，里面包含了5张带标注的大尺寸RGB遥感图像（尺寸范围从3000×3000到6000×6000），里面一共标注了4类物体，植被（标记1）、建筑（标记2）、水体（标记3）、道路（标记4）以及其他(标记0)。其中，耕地、林地、草地均归为植被类，为了更好地观察标注情况，我们将其中三幅训练图片可视化如下：蓝色-水体，黄色-房屋，绿色-植被，棕色-马路。更多数据介绍可以参看 这里 。 现在说一说我们的数据处理的步骤。我们现在拥有的是5张大尺寸的遥感图像，我们不能直接把这些图像送入网络进行训练，因为内存承受不了而且他们的尺寸也各不相同。因此，我们首先将他们做随机切割，即随机生成x,y坐标，然后抠出该坐标下256*256的小图，并做以下数据增强操作： 原图和label图都需要旋转：90度，180度，270度 原图和label图都需要做沿y轴的镜像操作 原图做模糊操作

验证码是阻挡机器人攻击的有效实践，但同时也波及正常的用户体验。如何通过用户的"行为特征"，简化人的验证操作，是提升用户访问体验的关键所在。 传统验证码所激化的矛盾主要表现集中在： 01 安全性低 几乎任何的传统验证码都可以通过字符字库识别、深度学习识别技术轻松破解； 02 用户体验差 为了提高安全性，需要加大验证码图形的识别难度，必然会牺牲用户体验，这是传统验证码技术的概念造成的； 为适应当前“提倡交互”的互联网发展趋势，优化用户体验，行为式验证技术应运而生，有效改良传统验证码 用户体验不佳、安全性低、迭代性差难以升级 等矛盾点。 01 基于行为的用户体验 传统验证码依赖用户键入计算机展示的图形内容以实现人机验证，尤其影响移动端用户的访问体验。YUNDUN行为式验证码以用户产生的行为轨迹为依据，进行机器学习建模，结合访问频率、地理位置、历史记录等多个维度信息综合判断，快速、准确的返回人机判定结果，最大程度简化用户的操作。 通过点触校验，避免繁琐的“码字”过程； 图片由后端服务器预生成，加快响应速率； 后端部署至边缘云节点，由集中式验证改为分布式验证，就近验证，优化海外用户体验； 加强用户行为校验，拦截极端非正常行为； 加强环境检测，根据评分动态返回验证结果； 02 联动WAF的坚固防御 依托“ 安全加速，智能守护 ”的产品服务理念，YUNDUN-WAF加注行为式验证码