Hierarchical Attention Based Semi-supervised Network Representation Learning
Hierarchical Attention Based Semi-supervised Network Representation Learning 1. 任务 给定:节点信息网络 目标:为每个节点生成一个低维向量 基于半监督的分层关注网络嵌入方法 2. 创新点: 以半监督的方式结合外部信息 1. 提出SHANE 模型,集成节点结构,文本和标签信息,并以半监督的方式学习网络嵌入 2. 使用分层注意网络学习节点的文本特征, 两层双向GRU 提取单词和句子的潜在特征 3. 背景 1. 现有方法通常基于单词获取节点的文本特征矩阵,忽略分层结构(单词、句子) 2. 不同单词和句子包含不同数量信息,如何评估节点内容的差异性 3. 标签,也是重要的监督信息 4. 网络中存在大量未标记节点,如何合理利用 4. 模型 整合节点的结构,文本和标签信息 基于文本的表示学习 使用分层注意机制 4.1. 问题定义 G = (V, E, T, L) ( V: 节点集 E: 边集合 T: 节点的文本信息 L: 标签节点信息 ) 节点u 的文本信息Du = (Su1, Su2,...,Suq) 句子信息 Sui = (Wui..) 给定信息网络,目标:为每个节点u 整合其结构和文本信息 学习一个低维向量 u, 4.2. 基于文本的表示 分层学习可获取不同粒度的文本信息 词嵌入:捕获词汇特征 句子嵌入: