神经网络

目前，作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在计算机视觉、分类等领域上，都取得了当前最好的效果。 后来，基于深度神经网络和搜索树的智能机器人“AlphaGo”在围棋上击败了人类，这是CNN 给人们的一个大大的惊喜。一年后的 Master 则更是完虐了所有人类围棋高手，达到神一般的境界，人类棋手毫无胜机。 可以说，卷积神经网络是深度学习算法应用最成功的领域之一。 目前，CNN应用也十分广泛。例如Facebook用它进行自动的图像标签，google用它做照片检索，amazon用它做产品推荐，Pinterest用它做个性化家庭定制推送，Instagram用它搭建他们的搜索架构。 那么，基于CNN最经典也是最流行的应用应当是图像处理领域。 而研读卷积神经网络的经典论文，对于学习和研究卷积神经网络必不可缺。 今天，给大家推荐一些资料，有 论文、知识图谱。 7份经典学术论文 这些论文大部分都发表在计算机视觉顶级学术会议上。 这7份论文资料，100p以上的内容体量。 建议收藏学习。 01 resnet 02 CNN 03 batchnorm 04 alexnet 05 visualzing 06 resnet 07 yolo4 目前， 2000+ 的看过这个论文资料的同学都顺利成为各公司算法工程师。大家扫码添即可领取

往期下载 下载！5000 页 Java 技术栈 PDF 手册 下载！343页经典书籍《算法之道（第二版）》 下载！《手把手AI项目》手册 下载！国外优质书籍《数字图像处理》电子版 下载！《机器学习基础》第二版正式开放下载 下载！《TensorFlow 2.0 深度学习算法实战》中文版（附随书代码+pdf） 下载！微软出品的最新 Kubernetes 学习指南 3.0 中文开源！《Python数据科学》PDF下载 下载！闲鱼最新升级版 Flutter 技术电子书！ 下载！Springer 面向公众开放数据挖掘、编程、机器学习、数学、深度学习、数据科学等 65本电子书籍 下载！Python 密码学入门书籍 下载！《Java 编程思想》中文版！ 2020最新版《神经网络与深度学习》中文版 pdf 开放下载 下载！Python 初学者经典教材 PDF课件下载！《用Python玩转数据》 下载！81 页计算机视觉学习指南 经典！《MySQL性能调优手册》高清电子版，限时 3 天免费下载 PDF下载！《数据结构与算法Python版》 下载！《工业智能白皮书》 下载！PyTorch中文版官方教程 InfoQ电子书下载：《前端面试指南》 《统计机器学习与凸优化》教程 PPT 下载 泰山版！Java开发手册开放下载 Pandas官方文档中文版下载、图形深度学习 PPT 下载 200页

向AI转型的程序员都关注了这个号 👇👇👇 机器学习AI算法工程 公众号：datayx Python与机器学习这一话题是如此的宽广，仅靠一本书自然不可能涵盖到方方面面，甚至即使出一个系列的书也难能做到这点。单就机器学习而言，其领域就包括但不限于如下：有监督学习（Supervised Learning），无监督学习（Unsupervised Learning）和半监督学习（Semi-Supervised Learning）。而其具体的问题又大致可以分为两类：分类问题（Classification）和回归问题（Regression）。 Python本身带有许多机器学习的第三方库，但《Python与机器学习实战：决策树、集成学习、支持向量机与神经网络算法详解及编程实现》在绝大多数情况下只会用到Numpy这个基础的科学计算库来进行算法代码的实现。这样做的目的是希望读者能够从实现的过程中更好地理解机器学习算法的细节，以及了解Numpy的各种应用。不过作为补充，《Python与机器学习实战：决策树、集成学习、支持向量机与神经网络算法详解及编程实现》会在适当的时候应用scikit-learn这个成熟的第三方库中的模型。 《Python与机器学习实战：决策树、集成学习、支持向量机与神经网络算法详解及编程实现》适用于想了解传统机器学习算法的学生和从业者，想知道如何高效实现机器学习算法的程序员

神经网络架构搜索——可微分搜索（DARTS） 背景 神经网络架构搜索之前主流的方法主要包括：强化学习，进化学习。他们的搜索空间都是不可微的，Differentiable Architecture Search 这篇文章提出了一种可微的方法，可以 用梯度下降来解决架构搜索的问题 ，所以在搜索效率上比之前不可微的方法快几个数量级。可以这样通俗的理解：之前不可微的方法，相当于是你定义了一个搜索空间（比如3x3和5x5的卷积核），然后神经网络的每一层你可以从搜索空间中选一种构成一个神经网络，跑一下这个神经网络的训练结果，然后不断测试其他的神经网络组合。这种方法，本质上是从很多的组合当中尽快的搜索到效果很好的一种，但是这个过程是黑盒，需要有大量的验证过程，所以会很耗时。而这篇文章把 架构搜索融合到模型当中一起训练 。 算法核心思想 DARTS算法示意图 由上图可分析： (a) 定义了一个cell单元，可看成 有向无环图 ，里面4个node，node之间的edge代表可能的操作（如：3x3 sep 卷积），初始化时unknown。 (b) 把搜索空间 连续松弛化 ，每个edge看成是所有子操作的混合（softmax权值叠加）。 (c) 联合优化 ，更新子操作混合概率上的 edge超参 （即架构搜索任务）和 架构无关的 网络参数 。 (d) 优化完毕后，inference 直接

DAAS 本文是华为基于可微分网络搜索的论文。本文基于 DARTS搜索离散化后性能损失严重 的问题，提出了离散化感知架构搜索，通过 添加损失项(Discretization Loss)以缓解离散带来的准确性损失 。 论文题目：Discretization-Aware Architecture Search 开源代码：https://github.com/sunsmarterjie/DAAS。 摘要 神经架构搜索（NAS）的搜索成本为通过权值共享方法大大减少。这些方法通过优化所有可能的边缘和操作的超级网络，从而确定离散化的最佳子网，即修剪弱候选者。在操作或边缘执行离散化过程目前存在的不准确之处以及最终结构的质量不能保证。本文提出了 离散化感知架构搜索 （DAAS），其核心思想是 添加损失项以推动超级网络朝向所需拓扑的配置，以便离散带来的准确性损失得到缓解 。实验在标准图像分类基准上证明了方法的重要性，尤其是在目标网络不平衡的情况下。 DAAS架构思路展示 方法 算法的核心思路是 采用超网络中边和操作参数归一化后的信息熵作为Loss约束，最小化信息熵可以实现离散的参数分布 。 操作参数 的离散化损失 边参数 的离散化损失 ，该项的主要目的是为了 维持保留边的均匀性 ，因为，每个节点保留两条边，因此设置为2。以5条边为例，与前面信息熵对应，最佳的 取值为两个保留边的取值均为1

点击上方“ 迈微电子研发社 ”，选择“ 星标★ ”公众号 重磅干货，第一时间送达 前言 注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。 正如论文的题目所说的，Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。更准确地讲，Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建，作者的实验是通过搭建编码器和解码器各6层，总共12层的Encoder-Decoder，并在机器翻译中取得了BLEU值得新高。 作者采用Attention机制的原因是考虑到RNN（或者LSTM，GRU等）的计算限制为是顺序的，也就是说RNN相关算法只能从左向右依次计算或者从右向左依次计算，这种机制带来了两个问题： 时间片 的计算依赖

点击关注上方 “ AI深度视线 ”，并“ 星标 ”公号 技术硬文，第一时间送达！ AI视线 来源知乎：咫尺小厘米 https://zhuanlan.zhihu.com/p/153329513 1. self-attention代替了cnn和rnn很厉害 2. 人感觉李宏毅老师的视频也讲得挺清楚的， https://www.bilibili.com/video/BV1JE411g7XF?p=23 原文链接：https://arxiv.org/abs/1706.03762v5 官方开源代码：https://github.com/tensorflow/tensor2tensor 1. 摘要 The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. 目前占据主导的序列转换模型主要基于复杂的递归或卷积神经网络，包括编码器和解码器

导读：本文是“深度推荐系统”专栏的第十篇文章，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文主要根据RecSys 2019中论文《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches》总结的最近三年四大顶会深度推荐系统上的18个最新算法。 欢迎转载，转载请注明出处以及链接，更多关于深度推荐系统优质内容请关注如下频道。 知乎专栏： 深度推荐系统 微博： 深度传送门 公众号：深度传送门 今年RecSys 2019上出现的一篇极具批判性的论文《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches》。灵魂一问深度学习是否在推荐系统已经取得了足够可信的进展？在知乎上也引起了激烈的讨论： 如何看待RecSys 2019上的一篇文章认为现有DNN-based推荐算法带来的基本上都是伪提升？ 作者总结了过去三年四大顶会（KDD、SIGIR、WWW和RecSys）推荐系统上18个最新算法，只有7个能重现效果。而且在不同的测试数据集上它们与浅层经典方法效果对比中经常都败下阵来

线性回归方法一般只做回归分析，预测连续值等，而我们的任务是分类任务时该怎么办呢？下面我们讲一下最基本的分类方法，也就是逻辑回归方法(Logit regression)。逻辑回归又称为对数几率回归，它将线性回归的输出又进行了一个特殊的函数，使其输出一个代表分类可能性的概率值，这个特殊的函数称作sigmoid函数，如下式所示： 该函数的函数图像如下图所示： 图6 sigmoid函数 Sigmoid函数在机器学习乃至深度学习中占有很重要的地位，因为它具有以下几个良好性质： 单调可微，具有对称性 便于求导，sigmoid函数的导数满足： 定义域为 ,值域为 ，可以将任意值映射到一个概率上 将现行回归的输出值通过sigmoid函数，可以得到： 将上式稍作变形，可以得到： 可以看出，逻辑回归实际上就是用线性回归拟合 函数，但为什么逻辑回归能用于分类问题呢？由sigmoid函数的性质，我们可以做出假设：预测标签为第一类的数据概率为 ， 预测为第二类的概率为 。 即 ： 现在预测的概率知道了，我们可以通过极大似然估计(Maximum Likelihood Estimate, MLE)来估计参数 ，使得每个样本的预测值属于其真实标签值的概率最大。这时，极大似然函数也是我们的损失函数： 其中， 为所有待优化参数， 为关于参数 和样本特征 的sigmoid函数， 为样本数目。 为了直观展示逻辑回归的功能

Tensorflow高维向量可视化 觉得有用的话,欢迎一起讨论相互学习~ Follow Me 参考文献 强烈推荐 Tensorflow实战Google深度学习框架 实验平台: Tensorflow1.4.0 python3.5.0 MNIST数据集 将四个文件下载后放到当前目录下的MNIST_data文件夹下 #<font color=Red>高维向量表示</font> 为了更加直观的了解embedding 向量的效果,TensorBoard 提供了PROJECTOR 界面来可视化高维向量之间的关系。PROJECTOR 界面可以非常方便地可视化多个高维向量之间的关系。比如在图像迁移学习中可以将一组目标问题的图片通过训练好的卷积层得到瓶颈层 ，这些瓶颈层向量就是多个高维向量。如果在目标问题图像数据集上同一种类的图片在经过卷积层之后得到的瓶颈层向量在空间中比较接近，那么这样迁移学习得到的结果就有可能会更好。类似地，在训练单词向量时，如果语义相近的单词所对应的向量在空间中的距离也比较接近的话，那么自然语言模型的效果也有可能会更好。 为了更直观地介绍TensorBoard PROJECTOR 的使用方法，本节将给出一个MNIST的样例程序。这个样例程序在MNIST 数据上训练了一个简单的全连接神经网络。本节将展示在训练100轮和10000轮之后