lstm

MENU 循环神经网络 定义 应用领域 模型结构 问题 LSTM 基本概念 核心思想 循环神经网络 定义 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network） 应用领域 RNN的应用领域有很多, 可以说只要考虑时间先后顺序的问题都可以使用RNN来解决.这里主要说一下几个常见的应用领域: 自然语言处理(NLP): 主要有视频处理, 文本生成, 语言模型, 图像处理 机器翻译, 机器写小说 语音识别 图像描述生成 文本相似度计算 音乐推荐、网易考拉商品推荐、Youtube视频推荐等新的应用领域. 模型结构 问题 RNN存在梯度消失和梯度爆炸问题（BP算法和长时间依赖造成的）： RNN的算法, 它处理时间序列的问题的效果很好, 但是仍然存在着一些问题, 其中较为严重的是容易出现梯度消失或者梯度爆炸的问题(BP算法和长时间依赖造成的). 注意: 这里的梯度消失和BP的不一样,这里主要指由于时间过长而造成记忆值较小的现象. 因此, 就出现了一系列的改进的算法, 这里介绍主要的两种算法: LSTM 和 GRU. LSTM 和 GRU对于梯度消失或者梯度爆炸的问题处理方法主要是:

论文信息：Ravi S, Larochelle H. Optimization as a model for few-shot learning[J]. 2016. 博文作者： Veagau 编辑时间：2020年01月07日 本文是2017年ICLR的会议论文，作者来自Twitter公司。在论文中作者提出了一种用于少样本领域的基于LSTM的 元学习者（Meta-Learner） 模型，这种模型能够直接学习用于训练另外一个 学习者（Learner） ，如神经网络分类器，的优化算法。 少样本学习或者说元学习的关键是找到一种系统化的方法去学习在各种任务上有效的通用初始化方案，这种方案能够为基于待考虑数据上的任务提供一个良好的初始训练点，从而实现在新任务上的快速适应于收敛，即学会学习。文中提出的基于LSTM的元学习者模型，作为一个优化器的角色， 能够捕获任务内的短期知识以及跨任务的长期知识，进而形成跨任务共享的基础知识 ，最后作用在学习者上，使其能够在每个任务上都可以快速收敛到一个较优解。 标准的深度神经网络的优化算法采用梯度下降的思想。 \[ \theta_t = \theta_{t-1}-\alpha_t\nabla_{t-1}L_{t} \] LSTM细胞状态的更新有着类似的表示形式。 \[ c_t=f_t\odot c_{t-1}+i_t \odot \tilde{c_t} \]

Deep Visual-Semantic Hashing for Cross-Modal Retrieval 用于跨模态检索的深度视觉语义哈希 摘要： 由于哈希算法具有较高的存储和检索效率，在大规模多媒体检索中被广泛应用于近似近邻搜索。跨模态哈希能够有效地检索图像以响应文本查询，反之亦然，近年来受到越来越多的关注。现有的大多数跨模态哈希研究工作都没有捕捉到图像的空间依赖性和文本句子的时间动态，从而学习强大的特征表示和跨模态嵌入，从而缓解了不同模式的异质性。摘要提出了一种新的深度视觉语义哈希(DVSH)模型，该模型在端到端深度学习体系结构中生成图像和句子的紧凑哈希码，捕捉视觉数据与自然语言之间的内在跨模态对应关系。DVSH是一种混合的深度架构，它构成了一个用于学习图像和文本句子的联合嵌入空间的可视化语义融合网络，以及两个用于学习哈希函数以生成紧凑二进制代码的特定于模态的哈希网络。我们的架构有效地统一了联合多模态嵌入和交叉模态哈希，它是基于图像上的卷积神经网络、句子上的递归神经网络和一个结构化的最大裕度目标的新组合，该目标将所有东西集成在一起，从而能够学习保持相似性和高质量的哈希码。大量的经验证据表明，我们的DVSH方法在图像-句子数据集的跨模态检索实验中，即标准的IAPR TC-12和大规模的Microsoft COCO中，得到了最先进的结果。 1.介绍 而海量