深度学习

双十一，囤点什么书呢?小编想了想，新书？经典书？畅销书？感觉似乎每一类都值得推荐 。每一年出版社的专业新书上百本，如何在适宜的时间选您需要的好书？双十一就是一个很好的时间选择。让小编带你浏览本年度最值得推荐的双十一好书。 经典书必备（思维修炼必备） 1、编程珠玑（第2版） 本书是计算机科学方面的经典名著。书的内容围绕程序设计人员面对的一系列实际问题展开。作者Jon Bentley 以其独有的洞察力和创造力，引导读者理解这些问题并学会解决方法，而这些正是程序员实际编程生涯中至关重要的。本书的特色是通过一些精心设计的有趣而又颇具指导意义的程序，对实用程序设计技巧及基本设计原则进行了透彻而睿智的描述，为复杂的编程问题提供了清晰而完备的解决思路。本书对各个层次的程序员都具有很高的阅读价值。 2、数学之美 第三版 这是一本备受推崇的经典科普作品，被众多机构推荐为数学学科的敲门砖，是信息领域大学生的必读好书。 数学既是对于自然界事实的总结和归纳，又是抽象思考的结果。在《数学之美》里，吴军博士集中阐述了他对数学和信息处理这些专业学科的理解，把数学在IT领域，特别是语音识别、自然语言处理和信息搜索等方面的美丽之处予以了精彩表达，这些都是智能时代的热门技术话题。 本书还用了大量篇幅介绍各个领域的典故，是文科生也可以看懂的科普读物。成为一个领域的大师有其偶然性，但更有其必然性

来源：机器之心 本文 约4300字 ，建议阅读 10 分钟 转向容器化机器学习开发是应对众多挑战的一种途径。 大多数人都喜欢在笔记本电脑上做原型开发。当想与人协作时，通常会将代码推送到 GitHub 并邀请协作者。当想运行实验并需要更多的计算能力时，会在云中租用 CPU 和 GPU 实例，将代码和依赖项复制到实例中，然后运行实验。如果您对这个过程很熟悉，那么您可能会奇怪：为什么一定要用 Docker 容器呢？ 运营团队中优秀的 IT 专家们可以确保您的代码持续可靠地运行，并能够根据客户需求进行扩展。那么对于运营团队而言，容器不就成了一种罕见的工具吗？您能够高枕无忧，无需担心部署问题，是因为有一群基础设施专家负责在 Kubernetes 上部署并管理您的应用程序吗？ 在本文中，AWS会尝试说明为什么您应该考虑使用 Docker 容器进行机器学习开发。在本文的前半部分，将讨论在使用复杂的开源机器学习软件时遇到的主要难题，以及采用容器将如何缓和这些问题。然后，将介绍如何设置基于 Docker 容器的开发环境，并演示如何使用该环境来协作和扩展集群上的工作负载。 机器学习开发环境：基本需求 首先了解一下机器学习开发环境所需的四个基本要素： 计算：训练模型离不开高性能 CPU 和 GPU； 存储：用于存储大型训练数据集和您在训练过程中生成的元数据； 框架和库：提供用于训练的 API 和执行环境

大家好，欢迎来到我们的付费视频直播回放栏目，在这个专栏中我们会每一次针对某一个主题，做1～2个小时左右的直播，包含PPT讲解与答疑交流。 作者&编辑 | 言有三 本文主题与资源 主讲人：贺率欣 视频时长：54分钟 PPT页数：31页 直播主题 深度学习项目中如何使用爬虫获取文本，图像，语音数据，如何对获取的数据集进行整理和标注，本次直播将讲解上述问题。 如何看懂一个网页 什么是网络爬虫 爬虫需要掌握的知识 如何快速实现一个爬虫 优秀的开源爬虫工具 深度学习数据标注工具有哪些 数据整理需要从哪些方面做起 PPT示例 回放地址 点击边框调出视频工具条 来源： oschina 链接： https://my.oschina.net/u/4353161/blog/4719180

如何理解归一化（Normalization）对于神经网络（深度学习）的帮助？ 作者：知乎用户 链接：https://www.zhihu.com/question/326034346/answer/730051338 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 回顾一下围绕normalization的一些工作（由最新到最旧的BatchNorm）： 2019， Weight Standardization （没有发表，但是有大佬Alan Yuille加持） Weight Standardization 2019 WS叫权重标准化，建立在 BN可以平滑损失landscape / BN可以平滑激活值 这个观点上，进一步提升GN的效果匹配到BN的水平上，针对GN在micro-batch训练时性能不及BN。WS的原理是： 减小损失和梯度的Lipschitz常数 。 2019， Dynamic Normalization Differentiable Dynamic Normalization for Learning Deep Representation ICML 2019 跟SN类似，加入了GN。 2019， Switchable Normalization Differentiable Learning-to-Normalize via

加入AI行业拿到高薪仅仅是职业生涯的开始。 现阶段AI人才结构在不断升级，这也意味着如果目前仍然停留在调用一些函数库，则在未来1-2年内很大概率上会失去核心竞争力的 。 几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。 如果现在一个 面试官 让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。 目前AI人才竞争越来越激烈， “调参侠” 的时代已慢慢过去，这些事情其实根本不需要AI工程师来做，未来的研发工程师就可以承担这些了！ 我相信不少人曾经遇到过以下的情况或者困惑： 从事AI行业多年，但技术上 总感觉不够深入 ， 而且很难再有提升； 对每个技术点了解，但 不具备体系化的认知 ， 无法把它们串起来； 停留在使用模型/工具上 ， 很难基于业务场景来提出新的模型； 对于机器学习 背后的优化理论、前沿的技术不够深入； 计划从事尖端的科研、研究工作、 申请AI领域研究生、博士生； 打算进入最顶尖的AI公司 比如Google，Facebook，Amazon，

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶” 作者：Andreas Maier 编译：ronghuaiyang 正文共：4184 字 11 图 预计阅读时间：12 分钟 导读 会导致机器学习的实验失败的7个常见问题。 机器学习是一个伟大的工具，它正在改变我们的世界。在许多伟大的应用中，机器学习，尤其是深度学习，已经证明比传统方法优越得多。从Alex-Net图像分类到U-Net图像分割，我们看到了在计算机视觉和医学图像处理上的巨大的成功。不过，我经常都会看到机器学习方法的失败。在出现这样的情况时，人们往往会犯下机器学习的七宗罪之一。 虽然所有这些问题都很严重，并会导致错误的结论，但有些问题比其他问题更严重，甚至机器学习专家在对自己的工作感到兴奋的时候，也会犯这样的错误。即使是其他专家，也很难发现其中的许多错误，因为你需要详细查看代码和实验设置，以便能够找出这些错误。特别是，如果你的结果好得让人难以置信的时候，错误往往会发生，你可能会想把这篇博文作为一个清单，以避免对你的工作得出错误的结论。只有当你完全确定自己没有落入这些错误中的任何一个的时候，你才应该继续前进，并向同事或公众报告你的结果。 Sin #1: 数据和模型的偏见 过拟合产生的模型能够完美地解释训练数据，但通常不能泛化到新的观察数据上 初学者在深度学习中经常犯这种错误。在最常见的情况下，实验设计是有缺陷的

本课程使用Python3讲解，课程内容同时适应于Windows、Mac OS X和Linux。 本课程以让学员学会使用scikit-learn编写机器学习代码为目的，拒绝纯理论讲解。 scikit-learn实现了大量机器学习算法，如k-临近、线性回归、梯度下降、决策树、支持向量机、朴素贝叶斯、PCA等。通常会将 scikit-learn与深度学习框架，如Tensorflow、PyTorch在一起使用。使用 scikit-learn对数据进行预处理，然后使用 Tensorflow、PyTorch等深度学习框架进行神经网络训练。因此，在学习 Tensorflow、PyTorch等深度学习框架之前，先了解scikit-learn非常重要。 本课程是《机器学习系列课程》中的重要部分。这套视频课程包括但不限于Python基础、常用机器学习框架（如scikit-learn、tensorflow、pytorch、caffe、keras等），机器学习核心算法、大量的实战案例、机器学习的数学基础，机器学习在自然语言处理中的应用、机器学习在推荐系统中的应用。 识别下面二维码进入课程页面： 本文分享自微信公众号 - 极客起源（geekculture）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源：

深度学习DeepLearning（Python）实战培训班 时间地点： 2020年12月18日—2020年12月21日北京 (第一天报到?授课三天；提前环境部署电脑测试) 一、培训方式：（即日起，开始报名！） 1、远程在线（集中时间远程操作培训） 2、作业训练（规定的时间把作业完成） 3、集中答疑（统一时间进行疑难问题答疑） 二、主讲内容: 课程一：Tensorflow入门到熟练： 课程二：图像分类： 课程三：物体检测： 课程四：人脸识别： 课程五：算法实现： 1、卷积神经网络CNN 2、循环神经网络RNN 3、强化学习DRL 4、对抗性生成网络GAN 5、迁移学习TL 三、报名联系方式： 联系人:刘肖肖（老师） 电话：010-56129268 手机：13311241619 官方咨询QQ：2209431734 深度学习网络课程QQ群群号：1057802989（加群备注:刘肖肖邀请） 参加线上的，免费赠送一次线下培训 来源： oschina 链接： https://my.oschina.net/u/4393390/blog/4716849

1：论文信息 来自IJCAI 2018的一篇论文：《Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting 》 原始论文地址链接 Pytorch代码实现 1.1： 论文思路 使用Kipf & Welling 2017的近似谱图卷积得到的图卷积作为空间上的卷积操作，时间上使用一维卷积TCN对所有顶点进行卷积，两者交替进行，组成了时空卷积块，在加州PeMS和北京市的两个数据集上做了验证。论文中图的构建方法并不是基于实际路网，而是通过数学方法构建了一个基于距离关系的网络。 1.2： 摘要和引言总结 在交通研究中，交通流的基本变量，也就是速度、流量和密度（ 实际中，还有排队长度，时间占有率，空间占有率，车头时距等多个变量 ），这些变量通常作为监控当前交通状态以及未来预测的指示指标。根据预测的长度，主要是指预测时间窗口的大小，交通预测大体分为两个尺度：短期(5~30min)，中和长期预测(超过30min)。大多数流行的统计方法(比如，线性回归)可以在短期预测上表现的很好。然而，由于交通流的不确定性和复杂性，这些方法在相对长期的预测上不是很有效。 中长期交通预测上的研究可以分为两类：动态建模和数据驱动的方法 。 动态建模方法 ：使用了数学工具（比如微分方程

PyTorch中scatter和gather的用法 闲扯 许久没有更新博客了，2019年总体上看是荒废的，没有做出什么东西，明年春天就要开始准备实习了，虽然不找算法岗的工作，但是还是准备在2019年的最后一个半月认真整理一下自己学习的机器学习和深度学习的知识。 scatter的用法 scatter中文翻译为散射，首先看一个例子来直观感受一下这个API的功能，使用pytorch官网提供的例子。 import torch import torch.nn as nn x = torch.rand(2,5) x tensor([[0.2656, 0.5364, 0.8568, 0.5845, 0.2289], [0.0010, 0.8101, 0.5491, 0.6514, 0.7295]]) y = torch.zeros(3,5) index = torch.tensor([[0,1,2,0,0],[2,0,0,1,2]]) index tensor([[0, 1, 2, 0, 0], [2, 0, 0, 1, 2]]) y.scatter_(dim=0,index=index,src=x) y tensor([[0.2656, 0.8101, 0.5491, 0.5845, 0.2289], [0.0000, 0.5364, 0.0000, 0.6514, 0.0000], [0