神经网络

目标检测算法-YOLO算法纵向对比理解 DeepLearning的目标检测任务主要有两大类：一段式，两段式 其中两段式主要包括RCNN、FastRCNN、FasterRCNN为代表， 一段式主要包括YOLO，SSD等算法 由于一段式直接在最后进行分类(判断所属类别)和回归(标记物体的位置框框)，所以现在一段式大有发展。 YOLO v1 论文地址： You Only Look Once: Unified, Real-Time Object Detection YOLOv1是one-stage detector鼻祖、real-time detector鼻祖。 所谓one-stage，即不需额外一个stage来生成RP，而是直接分类回归出output： YOLOv1直接将整张图片分成 S×S的小格子区域，每个小格子区域生成 B个bbox（论文中B=2），每个bbox用来预测中心点落在该格的物体。但是每个格子生成的所有B个bbox共享一个分类score YOLOv1最后一层的输出是一个S×S×(B∗5+C) 的tensor 其中，S为每维的格子段数，B为每格生成的bbox数，C为前景类别数。 YOLO v1包括24个conv layer + 2 fc layer YOLOv1采用了山寨版的GoogleNet作为backbone，而不是VGG Net； 在第24层时

大家好，我是贪心学院的小编。自从今年二月份举办的火爆的BERT、XLNet专题课以来，已经三个月没有跟大家见面了。这一次我们又给大家带来了重磅级的系列公开课， 由贪心学院和京东智联云联合打造，共四次公开课、为期两周时间， 感兴趣的朋友们可以 扫码加入。 ???? N L P公开课直播活动 ???? 这次的系列课程我们又选择了近几年NLP领域最火的话题， 包括GNN, GCN, Word2Vec, ELMo, GPT, BERT, 对话系统，个性化文本生成，知识图谱等内容。 作为一名NLP工程师，这些内容逐步在成为必修课。 在本次专题活动，我们会通俗易懂地讲解每一个核心知识点，让大家知道背后的原理，这也是贪心学院一贯的讲授风格。 本次的专题活动，我们有幸邀请到了 多位国内外NLP领域的专家， 均在各自领域中 发表过数篇顶会文章， 也有幸邀请到了京东相关领域的专家。我们希望通过本次活动，给大家带来一些认知上的提升，充实自我！ 下 面 是 关 于 本 次 专 题 课 程 的 详 细 介 绍 以 及 安 排 ， 你 可 以 通 过 扫 描 下 方 的 二 维 码 来 进 行 报 名 。 未 报 名 专 题直播活动 的 同 学 请 扫 描 下 方 二 维 码 ???? ???? ???? ???? 前 方 高 能 ???? 史 上 最 干 干 货 ！ 来 咯 ！ 本 次 直 播 分4 大 主

视频： 5分钟快速一览Milvus v.0.9.0 新功能 | Milvus Q&A 与文字实录 视频： Milvus问答#11- 分布式数据库与Milvus 分布式 Attendee= 参会者 Attendee A： 我现在只是属于试用阶段，还没有经过一个比较完整的使用场景的考验，所以现在主要就是说想学习一下，看看别人都是应用到什么样的场景。我们现在实际用的就是一个句子相似性的应用场景，只做了一个很小的测试，没有遇到很明显的问题。之前觉得检索的准确率不是很高，但是有一个人建议说我做向量的归一化，我还没有做测试，所以还不知道结果，就是这么一个情况。 顾老师@ Milvus： 所以您那边是一个自然语言处理的场景是吧？ Attendee A： 对，第一步是自然语言处理，然后后面可能就是说会用句子来搜图，然后图搜句子的这样的也会尝试一下。 顾老师@ Milvus： 句子来搜图的话，您这边图片都是有标签的吗？ Attendee A： 对，就是说就类似于那种表情图。一开始会试一些表情图。 顾老师@ Milvus： 明白了，所以你们主要是现在还是在搜索，先帮助大家去搜索表情包是吗？ Attendee A： 对。 顾老师@ Milvus： 然后给这些表情包打上一些文字的这种标签，然后通过比如说用户给个句子，然后互相提取语义，然后去做匹配的搜索，是这样的一种效果是吧？ Attendee A： 对。

本文浅显的讲解下X-PU之间的区别，CPU、GPU、TPU、NPU、BPU、DPU。　 CPU　　 　　CPU( Central Processing Unit, 中央处理器) 就是机器的 “大脑” ，也是布局谋略、发号施令、控制行动的 “总司令官 ”。 　　CPU的结构主要包括运算器（ALU, Arithmetic and Logic Unit）、控制单元（CU, Control Unit）、寄存器（Register）、高速缓存器（Cache）和它们之间通讯的数据、控制及状态的总线。 　　简单来说就是： 计算单元、控制单元和存储单元 ，架构如下图所示： 　　从字面上我们也很好理解， 计算单元 主要执行算术运算、移位等操作以及地址运算和转换； 存储单元 主要用于保存运算中产生的数据以及指令等； 控制单元 则对指令译码，并且发出为完成每条指令所要执行的各个操作的控制信号。 　　所以一条指令在CPU中执行的过程是这样的：读取到指令后，通过指令总线送到控制器（黄色区域）中进行译码，并发出相应的操作控制信号；然后运算器（绿色区域）按照操作指令对数据进行计算，并通过数据总线将得到的数据存入数据缓存器（大块橙色区域）。过程如下图所示： 　　是不是有点儿复杂？没关系，这张图完全不用记住，我们只需要知道，CPU遵循的是 冯诺依曼架构 ，其核心就是： 存储程序，顺序执行。 　　讲到这里

Paper之ICASSP&IEEEAUDIOSPE：2018~2019年ICASSP国际声学、语音和信号处理会议&IEEE-ACM T AUDIO SPE音频、语音和语言处理期刊最佳论文简介及其解读 目录 ICASSP国际声学、语音和信号处理会议&IEEE-ACM T AUDIO SPE音频、语音和语言处理期刊简介 ICASSP国际声学、语音和信号处理会议 IEEE-ACM T AUDIO SPE音频、语音和语言处理期刊简介 历年经典论文 X-Vectors: Robust DNN Embeddings for Speaker RecognitionX向量：用于说话人识别的鲁棒DNN嵌入 Boosting Noise Robustness of Acoustic Model via Deep Adversarial Training通过深度对抗训练提高声学模型的噪声鲁棒性 Modality Attention for End-to-end Audio-visual Speech Recognition基于模态注意力的端到端音视觉语音识别 State-of-the-Art Speech Recognition with Sequence-to-Sequence Models先进的序列识别语音识别模型 Deep Audio-visual Speech

《SIGIR 顶会论文解读》重磅发布 由 7 位阿里巴巴技术专家精心打造，内容覆盖推荐系统 、成交转化模型 、 回音室效应 、 全空间多任务转化率预估建模 、 DeepMatch 召回模型 、 跨领域冷启动用户推荐网络 、 表示学习模型等信息检索领域新技术。 精彩内容抢先看 1、对抗推荐系统 回顾推荐系统的发展，离不开模型、数据、训练方式三个维度的创新。模型层面，基于内容的推荐系统到协同过滤的矩阵分解，以及神经网络带来的序列化建模，使得用户表征和商品表征刻画越来越精细；数据层面，长短期行为的切分，基于session 的推荐 [1]，跨场景行为的引入，数据的丰富和建模为用户兴趣的挖掘提供更多的可能；训练方式上，分布式训练框架，在线学习，高维稀疏特征处理，优化器设计，从而支撑商业化推荐系统。然而，性能提升的同时，我们也看到推荐系统的可解释性逐渐变成黑盒。用户的兴趣偏好如何表征，兴趣如何演变，不同时间点的历史行为由哪种因素主导，这一系列的问题都对现代化推荐系统的解释提出了挑战。 2、GMCM基于微观行为图的成交转化模型 电商推荐系统帮助用户寻找感兴趣的商品。在这个系统中，两个任务扮演了至关重要的角色，点击率预估（CTR Estimation）和成交转化率预估（CVREstimation）。顾名思义，点击率是商品从被曝光到被点击的概率，成交转换率是商品从被点击到被购买的概率。

    自编码器是无监督学习领域中一个非常重要的工具。最近由于图神经网络的兴起，图自编码器得到了广泛的关注。笔者最近在做相关的工作，对科研工作中经常遇到的：自编码器（AE），变分自编码器（VAE），图自编码器（GAE）和图变分自编码器（VGAE）进行了总结。如有不对之处，请多多指正。     另外，我必须要强调的一点是：很多文章在比较中将自编码器和变分自编码器视为一类，我个人认为，这二者的思想完全不同。自编码器的目的不是为了得到latent representation（中间层），而是为了生成新的样本。我自己的实验得出的结论是，变分自编码器和变分图自编码器生成的中间层 不能直接 用来做下游任务（聚类、分类等），这是一个坑。 自编码器（AE）     在解释图自编码器之前，首先理解下什么是自编码器。自编码器的思路来源于传统的PCA，其目的可以理解为非线性降维。我们知道在传统的PCA中，学习器学得一个子空间矩阵，将原始数据投影到一个低维子空间，从未达到数据降维的目的。自编码器则是利用神经网络将数据逐层降维，每层神经网络之间的激活函数就起到了将"线性"转化为"非线性"的作用。自编码器的网络结构可以是对称的也可以是非对称的。我们下面以一个简单的四层对称的自编码器为例，全文代码见最后。    (严格的自编码器是只有一个隐藏层，但是我在这里做了个拓展，其最大的区别就是隐藏层以及神经元数量的多少

我们构想有一个神经网络，输入为两个input，中间有一个hidden layer，这个hiddenlayer当中有三个神经元，最后有一个output。 图例如下： 在实现这个神经网络的前向传播之前，我们先补充一下重要的知识。 一.权重w以及input的初始化 我们初始化权重w的方法为随机生成这些权重，一般可以使用这些随机生成的数据正好在正态分布的曲线上，这也是最符合生成符合自然规律的随机数生成方法： import tensorflow as tf # 一般情况下神经网络上的参数是w的数列，当然我们一般使用随机数来生成这些参数 w=tf.Variable(tf.random_normal([2,3],stddev=2,mean=0,seed=1 )) # 其中stddev表示标准差，mean表示均值，【】表示随机生成正态分布的数值的shape 这样我们的权重就生成了，我们初始化input的方法有有以下几种，伪代码如下： 除了这种方式，我们还可以使用 tf.constant([ 1,2,3 ]),来生成指定数值 tf.zeros([ 2,3 ],int32),用来生成全零 tf.ones([ 2,3 ],int32)，同来生成全1 tf.fill([ 3,2],6),生成指定数值 下面我们编写一个仅有一个初始值input的神经网络，并利用tensorflow实现对其进行前向传播

本文来自王喆老师《深度学习推荐系统》一书，如果有一定的推荐系统基础的话，建议读一读，当然如果只是初学者的话还是建议从基础的开始学起，比如《推荐系统开发实战》。 传统机器学习推荐模型演化 简单讲，传统推荐模型的发展主要由以下几部分组成 协同过滤算法族 即上图中蓝色部分，协同过滤是推荐系统的首选模型，从物品相似度和用户相似角度出发，衍生出了ItemCF和UserCF两种算法。为了使协同过滤衍生出矩阵分解模型（Matrix Factorization，MF），并发展出矩阵分解的各分支模型。 逻辑回归模型族 协同过滤仅利用用户和物品之间显式或者隐式反馈信息，逻辑回归能够利用和融合更多用户、物品和上下文特征。从LR模型衍生出的各种模型同样“枝繁叶茂”，包括增强了非线性能力的大规模分片线性模型（Large Scale Piece-wise Linear Model，LS-PLM），由逻辑回归发展出来的FM模型，以及与多种不同模型配合使用后的组合模型等。 LS-PLM模型是阿里巴巴曾经使用的主流推荐模型，本质上，LS-PLM可以看作是对逻辑回归的自然推广，他在逻辑回归的基础上采用了分而治之的思路，先对样本进行分片，而在样本分片中应用逻辑回归进行CTR预估。 比如在电商领域要预估女性受众点击女装广告的CTR，那么显然我们不希望把男性用户点击数码类的样本数据也考虑进来

　　32 岁，带 7 位博士生，还是最年轻的中国女性得主！ 　　美国东部时间 6 月 17 日，（TR 35），祖籍广东的李博入选。 　　她到底有多不简单？ 27 岁，李博博士毕业后，一个月飞行几十趟，走遍全美 50 多个城市，最终斩获 20 多个 offer，且均由世界知名大学发来，如伊利诺伊大学香槟分校、马里兰大学、佛罗里达大学等高校。面试一家中一家，妥妥的超级“面霸”。 　　 　　图 | 李博（来源：受访者） 　　而李博本次上榜 TR 35 榜单的原因在于，她在对抗机器学习（Adversarial Machine Learning）方面，有着出色的研究。同时，她也是全球首批研究对抗机器学习的学者。 　　如今，她是美国 “公立常春藤” 伊利诺伊大学香槟分校计算机科学系的助理教授，还曾获得全球只有三位入选的赛门铁克奖金，此奖金由美国赛门铁克颁布，用来奖励对计算机安全做出创新贡献的学者。 　　 英国老牌博物馆展出成果 　　2019 年 6 月，有着一百五十多年历史的英国科技博物馆，展示了李博的研究成果。这是在该博物馆展出的、为数不多计算机领域成果。 　　 作为维多利亚女王曾亲自参与建设的博物馆，缘何展出这样一位年轻教授的成果？原因在于这项研究的目的很重磅，过程有突破，结果有应用。 　　该研究的目的，在于发现 AI 技术的薄弱点，以及提出提高 AI 鲁棒性（计算机软件在输入错误