神经网络

assignment 2 assignment2讲解参见： https://blog.csdn.net/BigDataDigest/article/details/79286510 http://www.cnblogs.com/daihengchen/p/5765142.html 最后一个作业Q5基于Tensorflow和Pytorch，将会需要在GPU上运行。 1. softmax_loss: log_probs[range(N), y]:从log_probs中取出纵值为yi，即正确标签，横值图像数，即从log_probs中取出y所指向的正确类的概率值，得到是一个[N,]数组，加和后除以N，即为softmax_loss。 2.关于batch normalization: 参见：https://www.cnblogs.com/guoyaohua/p/8724433.html 参见：https://www.cnblogs.com/skyfsm/p/8453498.html 反向传播参见：https://zhuanlan.zhihu.com/p/26138673 https://blog.csdn.net/kevin_hee/article/details/80783698 基本流程：减去均值（mini-batch mean）、除以方差(normalize)、scale and

Ascend310 AI处理器规格 Ascend310 AI处理器逻辑架构 昇腾AI处理器本质上是一个片上系统（System on Chip，SoC），主要可以应用在和图像、视频、语音、文字处理相关的应用场景。其主要的架构组成部件包括特制的计算单元、大容量的存储单元和相应的控制单元。该芯片大致可以划为：芯片系统控制CPU（Control CPU），AI计算引擎（包括AI Core和AI CPU），多层级的片上系统缓存（Cache）或缓冲区（Buffer），数字视觉预处理模块（Digital Vision Pre-Processing，DVPP）等。芯片可以采用LPDDR4高速主存控制器接口，价格较低。目前主流SoC芯片的主存一般由DDR（Double Data Rate）或HBM（High Bandwidth Memory）构成，用来存放大量的数据。HBM相对于DDR存储带宽较高，是行业的发展方向。其它通用的外设接口模块包括USB、磁盘、网卡、GPIO、I2C和电源管理接口等。 昇腾AI处理器的主要架构组成： 芯片系统控制CPU（Control CPU） AI计算引擎（包括AI Core和AI CPU） 多层级的片上系统缓存（Cache）或缓冲区（Buffer） 数字视觉预处理模块（Digital Vision Pre-Processing，DVPP）等 AI Core

EA周报 2020年8月21日 每 个星期7分钟，元宝带你喝一杯IT人的浓缩咖啡，了解天下事、掌握IT核心技术。 周报看点 1、 国内首个 App SDK 国家标准成功立项 2、 构建低代码生态，APICloud宣布进入3.0时代 3、 华为推出PC版HMS“擎云生态”：已适配458款国产软硬件 4、 国产操作系统重大突破，银河麒麟操作系统V10发布原生支持海量安卓应用 5 苹果与Epic冲突升级或影响全球数百款游戏开发 6、 特斯拉开发Dojo神经网络训练计算机，帮助实现全自动驾驶目标 7、 周鸿祎：有的软件会偷拍偷录，来匹配用户兴趣爱好 热点大事件 阿里巴巴：将停止UC web和其他创新业务在印度的服务 阿里巴巴方面表示，将停止UC Web和其他创新业务在印度的服务，但不会对集团整体造成影响。今年 6 月 29 日，印度信息技术部宣布禁用 TikTok、微信、QQ、UCWeb 浏览器等 59 款中国应用。此后消息称，阿里巴巴旗下 UCWeb 正在裁减印度的员工。报道指出，UCWeb 于十年前进入印度，在推出浏览器的同时，还有一个新闻应用和 Vmate 短视频应用。 国内首个 App SDK 国家标准成功立项，华为、小米等参与编制 昨日，《移动互联网应用程序 (App)SDK 安全指南》（以下简称《指南》）编制工作研讨会在北京召开。 据悉，该《指南》将会是国内首个关于 SDK

基于深度学习的小目标检测算法文献综述阅读 目标检测简要介绍 传统目标检测 基于深度学习的目标检测 基于候选区域的目标检测 基于回归的目标检测 小目标检测背景介绍及难点 小目标检测算法介绍 多尺度预测 反卷积和上采样 对抗网络GAN 总结与展望 最近做了一个对于小目标检测算法的文献的阅读，在搜查文献的时候，了解了目标检测的发展过程以及其中比较典型的算法，以下根据汇报的PPT从四个方法介绍小目标检测算法文献综述，分别是： 目标检测的简要介绍、小目标检测背景介绍及难点、小目标检测算法介绍、总结与展望 ，此篇博客也可作为汇报的讲稿。 目标检测简要介绍 目标检测过程简单的可以分为两个过程：定位和识别，定位是对于某一个目标位于哪一个位置而言，识别是指所定位的目标是什么，是一个分类问题。目标检测的发展也可以分为两个过程，其一是传统的目标检测，另一个是基于深度学习的目标检测。 传统目标检测 传统目标检测可以分为三个过程：获取检测窗口、手工设计感兴趣目标的特征、训练分类器。 1998年Papageorgiou发表一篇关于A general framework for object detection，提出Harr分类器，这是一个用于检测人脸的目标检测分类器，计算获取的每个检测窗口的像素总和，然后取它们的差值，利用差值作为特征进行目标分类，该方法的优点是速度快。2004年，David

一、RNN 　　 1、定义 　　递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural network），另一种是结构递归神经网络（recursive neural network）。时间递归神经网络的神经元间连接构成矩阵，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。RNN一般指代时间递归神经网络。 　　2、recurrent neural network原理 　　 　　上面的图片是一个简单的RNN结构模块。 X t 表示输入数据，A表示正在处理数据， h t 表示输出数据。循环可以使这些信息从当前一部传递到下一步。具体展开之后为右边的结构。通过展开我们简单的认为我们写出了全部的序列。其中循环神经网络对应的公式如下： x t 表示的是t时刻的输入， x t 可以是一个one-hot向量。 s t 是t时刻的隐层状态，它是记忆网络。 s t 是基于前一时刻隐层和当前时刻输入的计算， s t = f ( W s t − 1 + U x t ) st=f(Wst−1+Uxt),其中f函数通常是非线性的，如ReLU或者tanh。其中第一个初始化状态 s0记为0 o t 表示t时刻的输出，例如，如果我们想预测句子a的下一个词，它将会是一个词汇表中的概率向量， o t = s o f t m a x ( V s t )

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！） Lecture 6: Brief Introduction of Deep Learning 本节课主要围绕Deep Learing三步骤： （1）function set （2）goodness of function （3）pick the best function 1.function set Neuron之间采用不同的连接方式，就会得到不同的网络结构。 给定了网络结构，就定义了一个function set。 给定了网络结构并给定了参数，网络就是一个函数：而输入输出的形式都是向量。如下图所示： 在output layer之前的部分，可以看做特征提取(上一节描述的概念)。output layer是Multi-class Classifier. 但是问题来了，Deep learning中的隐层到底要订多少层合适呢？ 2.goodness of function 损失函数表达式以及优化过程如下所示： 3.pick the best function 显而易见，优化损失函数采用的依旧是 Gradient

萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 看过的动漫太多，以至于认角色时有点脸盲？ 又或者，只想给自己的二次元老婆剪个出场合辑，却不得不在各大搜索引擎搜索关于她的照片？ 试试爱奇艺推出的这个卡通人脸识别基准数据集 iCartoonFace ，用它训练AI帮你找动漫素材，效率分分钟翻倍。 对于脸型相近、但角色不同的二次元人物，能准确识别出来 （脸盲福音） ： 如果人物视角出现变化，也能准确识别： 不仅如此，在人脸被大面积遮挡时，也能准确地识别出来： 至于阴影和光照也不在话下，哪怕站在树荫里，也能被AI“侦测”： 效果完全不输现有的真实人脸识别。 那么，这样的技术是怎么做出来的呢？ 结合真人数据，训练卡通人脸识别 团队提出了一种卡通和真人的多人物训练框架，主要包括 分类损失函数 、 未知身份拒绝损失函数 和 域迁移损失函数 三部分，如下图所示。 其中，分类损失函数主要用来对卡通脸和真人脸进行分类。 而未知身份拒绝损失函数，则是为了在不同域之间进行无监督正则化投影。 至于域迁移损失函数，目的是降低卡通和真人域之间的差异性，对他们的相关性进行约束。 针对这个框架，研究者们探讨了三个问题：哪种算法最好？人脸识别是否有助于卡通识别？上下文信息对卡通识别是否有用？ 从实验结果来看， ArcFace+FL 的效果最佳，所以此次团队选用了这个算法。 至于后两个问题的答案，也是肯定的

pytorch神经网络解决回归问题（非常易懂） 参考文章： （1）pytorch神经网络解决回归问题（非常易懂） （2）https://www.cnblogs.com/Yanjy-OnlyOne/p/11530905.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4437884/blog/4694165

广告推荐算法系列文章： 莫比乌斯: 百度的下一代query-ad匹配算法 百度凤巢分布式层次GPU参数服务器架构 DIN: 阿里点击率预估之深度兴趣网络 基于Delaunay图的快速最大内积搜索算法 DIEN: 阿里点击率预估之深度兴趣进化网络 EBR: Facebook基于向量的检索 阿里巴巴电商推荐之十亿级商品embedding Overall 这篇文章所介绍的模型，用于在用户没有输入搜索词来表达意图的时候，给用户推荐商品的场景。这里的收费方式一般是CPC，即Cost per Click，每次点击收费，提高CTR能直接提高收入，同时改进用户体验。 在 DIN: 阿里点击率预估之深度兴趣网络 中，我们介绍了Attention在阿里点击率预估中应用，重点则是针对某个候选广告，用attention对用户行为序列进行权重计算，得到用户针对这个候选广告的兴趣向量，然后去做点击率预估。 上面的做法能够捕捉到用户多样的兴趣，但是缺点就是用户行为序列中的条目是被等价对待的，并没有考虑到用户兴趣的漂移。 比如，随着风潮的变化，用户喜欢的衣服风格可能发生变化；类似的，用户在某个时间段会关注一类书籍，但是过了这个时间段，可能会关注其他类型的书籍，或者其他商品比如衣服。 综上，用户的兴趣有如下特点： 多样性，用户感兴趣的商品会有很多种类。 进化性，用户的兴趣会随着时间发生变化

今天用PyTorch参考《Python深度学习基于PyTorch》搭建了一个LSTM网络单元，在这里做一下笔记。 1.LSTM的原理 LSTM是RNN（循环神经网络）的变体，全名为长短期记忆网络（Long Short Term Memory networks）。 它的精髓在于引入了细胞状态这样一个概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来，哪些状态应该被遗忘。 具体与RNN的区别可参考这篇博文： LSTM与RNN的比较 先放一张LSTM网络的模型图： 如上图所示，可以看到这是一个网络，我们单拿出其中一个单元来进行分析，可见每一个单元都包含一系列运算，那么这些运算的意义是什么呢？下面我们来一一解释每个单元的具体内容。 （1）遗忘门 ht-1 ：前一个时刻的Cell的输出 xt ： 当前时刻的输入 注意：中括号的意思是将ht-1与xt拼接起来，后面出现公式同理 遗忘门主要来判断上一状态中的输出对现状态的影响大小，遗忘门的输出要通过一个Sigmoid函数，Sigmoid函数的输出范围是0~1，相当于得到一个权重，后面与Ct-1相乘，以此得到上一状态输出对现状态的影响。 （2）输入门 输入门中会得到一个临界的细胞状态（Ct^），表示此状态下的备选输出，与it作用后就得到此次状态需要输出的内容。 由以上两个门就可以输出更新后的细胞状态Ct