神经网络

KDD 2020 | 会话推荐系统新进展:基于互信息最大化的多知识图谱语义融合

徘徊边缘 提交于 2021-02-13 08:35:06
论文标题: Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion 论文来源: ACM SIGKDD 2020 论文链接: https://arxiv.org/abs/2007.04032 会话推荐系统(conversation recommender system, CRS)旨在通过交互式的会话给用户推荐高质量的商品。通常CRS由寻求商品的user和推荐商品的system组成,通过交互式的会话,user实时表达自己的意图,system理解user的偏好并推荐商品。目前会话推荐系统有两个问题需要解决。首先,对话数据本身缺少足够的上下文信息,无法准确地理解用户的偏好(传统的推荐任务会有历史交互序列或者用户属性,但是该场景下只有对话的记录)。其次,自然语言的表示和商品级的用户偏好之间存在语义鸿沟(在“Can you recommend me a scary movie like Jaws”中,用户偏好反映在单词”scary“和电影实体”Jaws“上,但这两类信息天然存在语义的差异)。 为了解决上述问题,本文提出了模型 KG -based S emantic F usion approach(KGSF),通过互信息最大化的多知识图谱语义融合技术

一文解读 | 计算机视觉中的注意力机制

回眸只為那壹抹淺笑 提交于 2021-02-13 02:55:46
点击上方“ 迈微电子研发社 ”,选择“ 星标★ ”公众号 重磅干货,第一时间送达 之前在看DETR这篇论文中的self_attention,然后结合之前实验室组会经常提起的注意力机制,所以本周时间对注意力机制进行了相关的梳理,以及相关的源码阅读了解其实现的机制. 一、注意力机制(attention mechanism) attention机制可以它认为是一种资源分配的机制,可以理解为对于原本平均分配的资源根据attention对象的重要程度重新分配资源,重要的单位就多分一点,不重要或者不好的单位就少分一点,在深度神经网络的结构设计中,attention所要分配的资源基本上就是权重了。 视觉注意力分为几种,核心思想是基于原有的数据找到其之间的关联性,然后突出其某些重要特征,有通道注意力,像素注意力,多阶注意力等,也有把NLP中的自注意力引入。 二、自注意力(self-attention) 参考文献: Attention is All you Need http://papers.nips.cc/paper/7181-attention-is-all-you-need 参考资料: zhuanlan.zhihu.com/p/48 GitHub: git hub.com/huggingface/ 自注意力有时候也称为内部注意力,是一个与单个序列的不同位置相关的注意力机制

清华大学王奕森:Adversarial Machine Learning: Attack and D

倖福魔咒の 提交于 2021-02-12 21:28:29
本文作者:HelloDeveloper 嗨,大家好。这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频——足够干货,足够新鲜!话不多说,快快看过来,希望这些优秀的青年学者、专家杰青的学术报告 ,能让您在业余时间的知识阅读更有价值。 人工智能论坛如今浩如烟海,有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办,百度全力支持,读芯术作为合作自媒体。承办单位为中国科学院大学学生会,协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会。“AI未来说·青年学术论坛”第六期“机器学习”专场已于2019年6月23日下午在中科院举行。清华大学王奕森为大家带来报告《Adversarial MachineLearning: Attack and Defence》。 Yisen Wang obtained his Ph.D. degree from the Department of Computer Science and Technology at Tsinghua University. He is also a visiting scholar at Georgia Tech

从机器学习谈起

天大地大妈咪最大 提交于 2021-02-12 07:02:19
点击上方 “ 程序员江湖 ”, 选择“置顶或者星标” 你关注的就是我关心的! 转自:博客园,作者:计算机的潜意识 链接:www.cnblogs.com/subconscious/p/4107357.html 从机器学习谈起 在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。 在进入正题前,我想读者心中可能会有一个疑惑:机器学习有什么重要性,以至于要阅读完这篇非常长的文章呢? 我并不直接回答这个问题前。相反,我想请大家看两张图,下图是图一: 这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授,如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授,如今是Facebook人工智能实验室的主任。而左边的大家都很熟悉,Andrew Ng,中文名吴恩达,斯坦福大学副教授,如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛,被互联网界大鳄求贤若渴的聘请,足见他们的重要性。而他们的研究方向,则全部都是机器学习的子类--深度学习。 下图是图二: 这幅图上描述的是什么?Windows Phone上的语音助手Cortana,名字来源于《光环》中士官长的助手。相比其他竞争对手,微软很迟才推出这个服务

ResNet论文笔记

匆匆过客 提交于 2021-02-12 06:40:30
其实ResNet这篇论文看了很多次了,也是近几年最火的算法模型之一,一直没整理出来(其实不是要到用可能也不会整理吧,懒字头上一把刀啊,主要是是为了将resnet作为encoder嵌入到unet架构中,自己复现模型然后在数据集上进行测试所以才决定进行整理),今天把它按照理解尽可能详细的解释清楚跟大家一起分享一下,哪里没有说明白或者说错的,欢迎指出留言。 深度残差神经网络( Residual Networks )是 2015年(12月在arxiv.org可下载) 何凯明大神提出来的一个神经网络模型,获得了2015年多个竞赛数据集的第一。模型被提出主要是为了解决如下两个主要问题: 减缓深度学习模型难以训练的问题(e.g. 超过100层的神经网络) 模型退化(degradation problem)问题,这个之后会详细解释什么是退化(表示看了论文很迷茫,还是看了不少别人的博客才恍然大悟) 这里还有一点需要被注意的是, 深度残差网络是基于这么一个假设:越深的网络理应具备更好的学习能力 。这个后来也确实被证明层数的增加确实带来不一样的效果,不论以什么样的形式叠加和计算(如AlexNet、GoogLeNet、DenseNet等等)。 一、简要介绍 虽然假设越深的网络应该具备更好的表征学习能力,但是接踵而来的问题也很明显,如梯度消失和梯度爆炸(vanishing/exploding

关于卷积神经网络体系设计的理论实现

心不动则不痛 提交于 2021-02-12 04:45:44
  卷积神经网络,简称CNN,常用于视觉图像分析的深度学习的人工神经网络。形象地来说,这些网络结构就是由生物的神经元抽象拟合而成的。正如,每个生物神经元可以相互通信一般,CNN根据输入产生类似的通信输出。   若要论CNN的起源,那大概就是1980年代初了,随着最近技术的迅猛进步和计算能力的不断强大,CNN就此流行起来。简而言之,CNN技术允许在合理的时间内,利用其自身性和扩展性的算法对大量数据和复杂训练进行卷积维度的“神经”运算。目前,CNN主要应用于:基于人工智能的虚拟助手、自动照片标记、视频标记和自动驾驶汽车等方面。 一、卷积神经网络与常规神经网络的区别 CNN能处理分辨率更高的图像,解决常规神经网络不能解决的巨大计算开销问题;举个例子:如果考虑一个大小为224224个和3个通道的图像,它对应于224x224x3=150528的输入特性。一个典型的具有1000个节点的隐层神经网络在第一层本身就有150528×1000个参数。这对于常规神经网络来说,根本就难以估量; 具有检测不变性(Translation invariance)的特性,不管在识别过程中的哪个微时间阶段,或者图像识别的局部区域大小,都具有客观识物不变性质。 二、CNN的工作机制和原理   卷积层都是基于卷积的数学运算。卷积层由一组滤波器组成,就像一个二维数字矩阵。然后,滤波器与输入图像合并以产生输出

Google芯片自动布局论文解读

时光毁灭记忆、已成空白 提交于 2021-02-12 00:55:50
作者:西南交通大学研究生导师邸志雄博士。 四月初,谷歌大脑团队使用 AI 进行芯片布局的一篇相关研究论文《Chip Placement with Deep Reinforcement Learning》在 ArXiv 上公布。在 Azalia Mirhoseini 这篇 ArXiv 论文中,她和谷歌高级软件工程师 Anna Goldie 表示,对芯片设计进行了足够长时间的学习之后,团队开发的算法可在不到 24 小时的时间内为谷歌 TPU 完成设计,且在功耗、性能、面积都超过了人类专家数周的设计成果。她们认为,理想情况下,新设计出的芯片应该能够很好地满足当今 AI 算法的需求,“如果 AI 能够缩短芯片的设计周期,在硬件与 AI 算法之间建立共生关系,会进一步推动彼此的进步”。 这篇论文发表之后,业界为之震动。这是Azalia本人汇总了美国科技媒体的反馈。 在国内,包括机器之心、智东西、MIT科技评论等知名媒体在都迅速发表了此项成果的评论。前期笔者也对这篇论文的背景做了简单的汇总和整理,并发表在西电潘伟涛老师的微信公众号“网络交换FPGA”上,也被“半导体行业观察”等多个公众号转载。而本篇文章主要对《Chip Placement with Deep Reinforcement Learning》做一个简要的技术解读。 大背景:EDA发展史 1.1 EDA发展史的三个时代 2003年

一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD

依然范特西╮ 提交于 2021-02-11 20:40:16
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD 前言 之前我所在的公司七月在线开设的深度学习等一系列课程经常会讲目标检测,包括R-CNN、Fast R-CNN、Faster R-CNN,但一直没有比较好的机会深入(但当你对目标检测有个基本的了解之后,再看 这些课程 你会收益很大)。但目标检测这个领域实在是太火了,经常会看到一些写的不错的通俗易懂的资料,加之之前在京东上掏了一本书看了看,就这样耳濡目染中,还是开始研究了。 今年五一,从保定回京,怕高速路上堵 没坐大巴,高铁又没抢上,只好选择哐当哐当好几年没坐过的绿皮车,关键还不断晚点。在车站,用手机做个热点,修改 题库 ,顺便终于搞清R-CNN、fast R-CNN、faster R-CNN的核心区别。有心中热爱 何惧任何啥。 为纪念这心中热爱,故成此文。 一、目标检测常见算法 object detection,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。所以,object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。 然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。 目前学术和工业界出现的目标检测算法分成3类: 1. 传统的目标检测算法

一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD

蹲街弑〆低调 提交于 2021-02-11 20:31:09
一、目标检测常见算法 object detection,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。所以,object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。 然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。 目前学术和工业界出现的目标检测算法分成3类: 1. 传统的目标检测算法:Cascade + HOG/DPM + Haar/SVM以及上述方法的诸多改进、优化; 2. 候选区域/框 + 深度学习分类:通过提取候选区域,并对相应区域进行以深度学习方法为主的分类的方案,如: R-CNN(Selective Search + CNN + SVM) SPP-net(ROI Pooling) Fast R-CNN(Selective Search + CNN + ROI) Faster R-CNN(RPN + CNN + ROI) R-FCN 等系列方法; 3. 基于深度学习的回归方法:YOLO/SSD/DenseBox 等方法;以及最近出现的结合RNN算法的RRC detection;结合DPM的Deformable CNN等 传统目标检测流程: 1)区域选择(穷举策略:采用滑动窗口,且设置不同的大小,不同的长宽比对图像进行遍历,时间复杂度高)

32篇深度学习与遥感论文推荐

血红的双手。 提交于 2021-02-11 17:26:03
深度学习与遥感论文推荐 期刊论文推荐 1. Yuan, Q., Shen, H., Li, T., Li, Z., Li, S., Jiang, Y., … Zhang, L. ( 2020 ). Deep learning in environmental remote sensing: Achievements and challenges. Remote Sensing of Environment , 241, 111716. 2. Cunha, R. L. F. and Silva, B.: ESTIMATING CROP YIELDS WITH REMOTE SENSING AND DEEP LEARNING, ( 2020 ), ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci ., IV-3/W2-2020, 59–64. 3. Mohan, A., Singh, A. K., Kumar, B., & Dwivedi, R. ( 2020 ). Review on remote sensing methods for landslide detection using machine and deep learning. Transactions on Emerging Telecommunications