网络模型

本文由Zouxy责编，全面介绍了深度学习的发展历史及其在各个领域的应用，并解释了深度学习的基本思想，深度与浅度学习的区别和深度学习与神经网络之间的关系。 深度学习 ， 即Deep Learning,是一种学习算法（Learning algorithm）,亦是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路，渐渐形成了一种从训练数据出发，经过一个端到端（end-to-end）的模型，然后直接输出得到最终结果的一种新模式。那么，深度学习有多深？学了究竟有几分？本文将带你领略深度学习高端范儿背后的方法与过程。 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的粒度 4.2、初级（浅层）特征表示 4.3、结构性特征表示 4.4、需要有多少个特征？ 五、Deep Learning的基本思想 六、浅层学习（Shallow Learning）和深度学习（Deep Learning） 七、Deep learning与Neural Network 八、Deep learning训练过程 8.1、传统神经网络的训练方法 8.2、deep learning训练过程 九、Deep Learning的常用模型或者方法 9.1、AutoEncoder自动编码器 9.2、Sparse Coding稀疏编码 9

人工智能、机器学习及深度学习的起源和发展 发展时间线 第一阶段：人工智能起步期 1956—1980s 1956达特茅斯会议标志AI诞生 1957神经网络Perceptron被罗森布拉特发明 1970受限于计算能力，进入第一个寒冬 第二阶段：专家系统推广 1980s—1990s 1980 XCON专家系统出现，每年节约4000万美元 1986 BP ，Geoffrey Hinton提出了前馈算法，一个通过对输入数据按照重要进行排序的精准神经网络。 1989 卷积，Yann LeCun写了另外一篇旷世之作，描述了卷积神经网络。这些发现突破了计算机难以解决的问题，譬如从一张照片中找到一只猫。 1990——1991 人工智能计算机DARPA没能实现，政府投入缩减，进入第二次低谷 1997 IBM的DeepBlue战胜国际象棋冠军 1997 Schmidhuber发明了长短期记忆网络（LSTM） 第三阶段：深度学习 2000s—至今 2006 Hinton提出“深度学习”的神经网络 2011 苹果的Siri问世，技术上不断创新 2012 Google无人驾驶汽车上路（2009年宣布） 2012年，计算机视觉界顶级比赛ILSVRC中，多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人，同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因 大量数据，

文章目录 总览 传统CTR模型演化的关系图 深度学习CTR模型的演化图谱 算法比对与总结 LR——CTR模型的核心和基础 FM模型——因子分解和特征交叉 LR+GBDT——特征工程模型化的开端 FTRL——在线实时训练模型 LS-PLM（MLR）——阿里曾经的主流CTR模型 Deep Neural Network (DNN) ——多层感知机器模拟特征组合 Deep Crossing（2016年）——DNN中deep加了resnet FNN（2016年）——用FM的隐向量完成Embedding初始化 PNN (2016年)——丰富特征交叉的方式 Google Wide&Deep（2016年）——记忆能力和泛化能力的综合权衡 华为 DeepFM (2017年)——用FM代替Wide部分 Google Deep&Cross（2017年）——使用Cross网络代替Wide部分 NFM（2017年）——对Deep部分的改进 AFM（2017年）——引入Attention机制的FM 阿里DIN（2018年）——阿里加入Attention机制的深度学习网络 阿里DIEN（2018年）——DIN的“进化” 参考 总览 传统CTR模型演化的关系图 向下为了解决特征交叉的问题，演化出PLOY2，FM，FFM等模型； 向右为了使用模型化、自动化的手段解决之前特征工程的难题

[论文学习以及翻译]TDN: An Integrated Representation Learning Model of Knowledge Graphs 文章主要内容 摘要 前言 相关工作 基于TDN的表示的框架结构 方法 文本信息的表示 网络结构的embedding方法 模型训练过程 定义 训练 过程 实验 数据集 实验的参数设置 链接预测 实验结果分析 结论 读后感 文章下载链接：https://github.com/ciecus/papers/blob/master/%E7%9F%A5%E8%AF%86%E5%92%8C%E8%AF%AD%E4%B9%89%E7%BB%93%E5%90%882019%E5%B9%B4%E6%96%B0%E6%96%87%E7%AB%A0/TDN-%20An%20Integrated%20Representation%20Learning%20Model%20of%20Knowledge%20Graphs.pdf 文章代码链接：暂无 文章主要内容 摘要 知识图谱在人工智能领域起到了非常重要的作用。知识图谱致力于将实体和关系投影到连续的低维空间中。这种表示学习的方法可以通过预测潜在的三元组（head，relation，tail）用来完善知识图。在现有的方法种，人们主要集中于利用已有的三元组知识，但是忽略了融合文本信息和知识网的拓扑结构

作者：zhbzz2007 出处： http://www.cnblogs.com/zhbzz2007 欢迎转载，也请保留这段声明。谢谢！ 本文翻译自 RECURRENT NEURAL NETWORK TUTORIAL, PART 4 – IMPLEMENTING A GRU/LSTM RNN WITH PYTHON AND THEANO 。 本文的代码github地址 在此 。这是循环神经网络教程的第四部分，也是最后一个部分。之前的博文在此， RNN概述 利用Python，Theano实现RNN 理解RNN的BPTT算法和梯度消失 本文中我们将会学习LSTM（Long Short Term Memory）网络和GRUs（Gated Recurrent Units）。LSTM是由 Sepp Hochreiter and Jürgen Schmidhubere 在1997年提出，目前是深度学习应用到NLP领域中最为广泛的模型。GRUs 是在2014年 提出 ，是LSTM的一个简单变种，二者有很多相同的特性。让我们先看看LSTM，然后再看看GRU有何不同。 1 LSTM网络 在第三部分 理解RNN的BPTT算法和梯度消失 ，我们了解了梯度消失问题阻碍了标准循环神经网络学习长期依赖。LSTM通过门机制来解决梯度消失问题。为了更好的理解原理，我们看看LSTM如何计算隐层状态 \(s_{t}\

ECO: Efficient Convlutional Network for Online Video Understanding 这篇论文发表于2018年ECCV上。作者Mohammadreza Zolfaghari等人来自弗莱堡大学。这篇论文主要内容如下： 当前最先进的视频理解模型主要存在两个问题：1. 模型在做任务推理时只关注视频局部信息，忽略了横跨一定时间间隔的动作联系；2. 已有模型只在视频局部处理进行效率改进，但是视频整体的处理效率较低，无法用于快速的视频检索或者在线长期动作分类。这篇论文针对这两个问题，提出了高效的卷积网络用于视频分类和实时视频分类算法。模型结构本身整合了视频的长期信息，并利用了相邻帧存在大量冗余信息这一特点。它最快能在一秒时间内进行230段视频的动作分类和描述。这种方法在所有的数据集上取得了和当前最好模型相当的效果，同时在速度上快了10到80倍。 视频动作分类领域主要有三个数据集：Kinetics、ActivityNet和SomethingSomething。 模型宏观架构 由于相邻帧存在大量的信息冗余，因此该方法利用预训练好的2D卷积网络每隔一定时间只处理一帧视频。为了让卷积网络自身就能学习到长期的语义信息，作者采用3D卷积层来对按一定时间间隔提取出来的帧的集合进行特征提取。在具体训练模型时，视频被分成N小段 ，每小段时间长度相等

一、深度学习简介 深度学习，英文名称为Deep Learning，是近几年人工智能领域的主要研究方向。深度学习的主要任务是通过构建深度卷积神经网络（Deep Neural Network，DNN）和采用大量样本数据作为输入，人们最终会得到一个具有强大分析能力和识别能力的模型，该模型包含了DNN的构成参数以应用于实际工作。 由于深度学习依赖DNN这样一个参数量庞大且非线性的框架，使得对于它的研究充满了挑战和困难。然而，近几年的研究和应用表明，深度学习已经基本取代了先前相关技术，在图像识别，语音识别已经取得了非凡的突破，但这并不意味着深度学习已经发展成熟，它还需要研究者进一步的理论分析和应用实践。 1.深度学习的历史 谈及深度学习的发展历程，就如同各种理论被人们关注和忽视的历程一样，具有高低起伏。深度学习并不是近几年才提出的，而之所以受到大众熟知也是因为社交媒体的广泛传播才被又一次拉上台面。例如2016年的AlphaGo对战李世石的比赛，在那年甚至之前的年代里围棋一直被认为是机器与人之间算力较量的最后一个跨越，许多人认为李世石稳操胜券，而没想到人工智能最终更胜一筹。 最早的神经网络是1943年提出的MCP人工神经元模型，其在1958年被应用于感知器算法中，用于机器学习分类任务。然而，尽管这样的方法被证明是可收敛的，却因为被结构简单（线性模型），分类认为受限（二分类

论文阅读 论文链接： https://arxiv.org/pdf/1903.07293.pdf tensorflow版代码Github链接： https://github.com/Jhy1993/HAN 介绍视频： https://www.bilibili.com/video/av53418944/ 参考博客： https://blog.csdn.net/yyl424525/article/details/103804574 文中提出了一种新的基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。注意力机制包括节点级注意力和语义级注意力。节点的注意力主要学习节点及其邻居节点间的权重，语义级的注意力是来学习基于不同meta-path的权重。最后，通过相应地聚合操作得到最终的节点表示。 ABSTRACT 最近，深度学习中最令人兴奋的进步之一是注意机制，它的巨大潜力在各个领域。 本文首先提出了一种基于层次注意的异构图神经网络，包括节点级注意和语义级注意。具体地说： 节点级注意旨在学习节点与其基于元路径的邻居之间的重要性 语义级注意能够学习不同元路径的重要性 通过从节点级和语义级两个层次上学习重要性，可以充分考虑节点和元路径的重要性。该模型通过对基于元路径的邻域特征进行分层聚合，生成节点嵌入。

一、OSI七层参考模型 OSI模型，即开放式通信系统互联参考模型（Open System Interconnection Reference Model），是国际标准化组织(ISO)提出的一个试图使各种计算机在世界范围内互联为网络的标准框架，简称OSI。 OSI将计算机网络体系结构换分为以下七层： 1、物理层 物理层规定了激活、维持、关闭通信端点之间的机械特性、电气特性、功能特性以及过程特性。该层为上层协议提供了一个传输数据的物理媒体。在该层，数据的单位称为比特(bit)。属于物理层定义的典型规范代表包括:EIA/TIARS-232、EIA/TIARS-449、RJ-45等。 2、数据链路层 数据链路层实现了在不可靠的物理介质上提供可靠的传输。该层的作用包括:物理寻址、数据的成帧、流量控制、数据的检错、重发等。在这一层，数据的单位称为帧(frame)。该层协议的代表包括：HDLC、PPP、STP、帧中继等。(物理寻址–固定、硬件 核心功能:介质访问控制、控制物理层) 3、网络层 网络层负责对子网间的数据包进行路由选择，还可以实现拥塞控制、网际互联等。在这一层，数据的单位称为数据包(packet)。网络层协议的代表包括：IP、RIP、OSPF、ARP、RARP、ICMP等。(逻辑寻址–临时、范围) 4、传输层 传输层时第一个主机到主机的层次。传输层负责将上层数据分段并提供端到端的

这篇文章是用来解决显著性检测问题的，只不过他用来训练模型的数据集是Light Field Images，即4D的数据集，在了解4D数据集之前，我们先来了解一下3D的数据集，我们平用来训练模型的图片都是2D图片，而3D多出来的一个维度指的就是像素的深度，之前2D估计包含像素的亮度和颜色，像素的深度是通过像素的聚焦程度体现出来的，如图一中的(b)、(c)、(d)这些图片，这些图片中的某些区域聚焦清晰，表示其深度较浅，某些区域为散焦区域，像素模糊，代表深度较深，(a)为所有像素都清晰的图片，称之为all-focus images，相对应于all-focus image的(b)、(c)、（d）各自有不同深度信息的图片堆叠成一个focal stack。4D数据集便是既有all-focus images,又有相对应的focal stack，4D Saliency Detection便是利用4D数据集作为训练输入的显著性检测模型，目的是将focal stack中的深度信息融入到所提取的特征中，更加有利于显著物体的检测。 图一 之前就有的工作就表明，将图片的深度信息当作先验信息加入到显著性检测模型中会起到较大的作用，这由我们人眼观测物体的经验可以解释，我们对离我们距离不同的物体的关注程度是不一样的，所以深度信息也可以作为一种十分有用的特征来进行显著物体的检测