神经网络

　　 　　作者 | 丛末 　　8月7日-8月9日，2020年全球人工智能和机器人峰会（简称“CCF-GAIR 2020”）在深圳如期举办！CCF-GAIR由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，以“AI新基建 产业新机遇”为大会主题，致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。 　　 8月9日下午，在「联邦学习与大数据隐私」专场上，微众银行首席人工智能官、香港科技大学杨强教授进行了题为「联邦学习下的数据价值与模型安全」的演讲。 　　演讲中，杨强教授介绍了联邦学习的关键技术以及应用案例，并进一步介绍了最新开展的联邦学习和迁移学习的结合研究以及接下来的重点研究方向。 　　杨强教授表示，我们建立的 AI 离不开人，保护人的隐私是当下AI 发展中特别重要的一点，这也是从政府到个人、企业以及社会的要求；另外，AI也要保护模型的安全，防止恶意或非恶意的攻击；最后，AI 需要人类伙伴的理解，如何实现联邦学习系统的透明性和可解释性，也是研究者接下来需要重点研究的方向。 　　 以下是杨强教授在大会的演讲实录，AI 科技评论进行了不修改原意的整理和编辑： 　　今天非常高兴跟大家在联邦学习专场相见，也非常感谢CCF-GAIR、雷锋网组织了这场会议。就像刚才主持人所说

　　 　　近些年来，AI 领域对图神经网络（GNN，Graph Neural Networks）的关注越来越高，尤其是自2019年开始，GNN 更是成为各大学术顶会最热门的主题之一，不仅相关主题的论文数量迎来了井喷式增长，相关主题的 Workshop 也成为了会议中最亮眼的存在。 　　作为图结构数据的深度学习架构，GNN能够将端到端学习与归纳推理相结合，被 AI 界普遍视作有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题的重点研究方向。 　　然而世界上并不存在万效药，GNN 也存在其内在的局限性，目前研究界也正在从理论和应用实践层面对此进行研究。 　　北京大学和香港科技大学携手在KDD 2020 上发表的这篇工作 “Graph Structural-topic Neural Network” ，便着眼于GNN 在处理网络局部子结构方面的局限性，进行了深入研究。 　　 　　论文地址：https://www.gjsong-pku.cn/files/KDD_GraphSTONE.pdf 　　以高效地对节点邻域特征进行聚合为长的 GNN ，虽然可以聚合邻域内的节点特征，但无法高效地提取和表征邻域内的子结构特征（例如 Graphlets等高阶的结构模式）。而此类结构特征（Local Structure）却在社交网络、生物网络、分子网络等信息网络中是极为重要的结构特征。 　　因此

　　机器之心报道 　　 机器之心编辑部 　　 Geoffrey Hinton 等 6 位图灵奖得主亲临，百余位顶级学者邀请你加入群聊「2020 北京智源大会」，深入系统探讨「人工智能的下一个十年」。 　　 　　自 2009 年深度学习崛起以来，第三波人工智能浪潮席卷全球，推动了新一波技术革命。 　　在这波澜壮阔的 11 年，我们见证了技术突破、应用创新与产业变革。 　　技术上，深度学习首先带来计算机视觉、语音识别等领域的突破，让机器识别的准确率一步步突破人类水平；在应用上，深度学习、强化学习、联邦学习等学习范式在安防、游戏、金融等不同场景带来新的创新。人工智能技术，在这些领域由点到面的落地应用，逐步推动着整个产业的变革。 　　技术变革，需要不断的推陈出新。在这 11 年中，如果说前半期是深度学习的时代，那么近年来我们能够看到更多不同的概念继续推动这人工智能的发展：符号主义、因果关系、联邦学习，等等。 　　2020 年，是一个十年的结束，也是下一个十年的开始。 　　在未来的十年，人工智能技术将如何发展？如何推动 AI 技术在医疗、交通等领域的落地应用？如何构建 AI 基础设置、规范 AI 伦理，都是当前人工智能领域亟待解决的问题。 　　依托北京在人工智能领域的科研和人才优势，第二届北京智源大会将于 6 月 21-24 日线上开幕。 　　此届大会围绕技术、应用、基础设施等话题

智源大会2020 聚焦AI的未来，大家都知道， 2010是深度学习的时代， 我们经历了AI从巅峰进入到瓶颈的过程。 那么什么是2020这个十年AI的中心？近一段大家逐步从各个不同的角度切入到这个主题， 比如从相关到因果， 从感知到认知， 重新结合符号主义， 结合脑科学，发展基础数学等， 而2020的智源大会，就是分别从这些不同角度进行跨学科交流的一次盛会。 因果角度 一个当下机器学习界的共识是，机器学习需要从感知过度到认知，但是对于如何引导这次革命，大家的答案是不一样的， 而一个重要的观点在于当下机器没有因果推理的能力。 这次会议有幸请到Jude Pearl， 因果被称为是第二次数学科学革命。 因为对于我们需要回答的大部分问题 ，都密切依赖我们对因果关系的建模， 这些问题包含对行为结果的分析和反事实推理，比如当下如果我要达到目标A, 我如何构建中间条件， 如果我没有做某事今天会怎样（反事实）等。 而这些能力是当下深度学习所不具备的， Jude Pearl的演讲深入浅出的引入了这个问题， 并用几个生动的例子提出了指出一些可能的解决方法。 因果理论的核心，就是do calculus， 它提到我们的模型如果要包含因果，就要能够模拟由行为产生的结果的不同， 这和我们之前物理的mechanic model 是相通的。 你有现象模型可以预测数据，但是这是观测数据的联系

Automatic Extraction of Personality from Text Challenges and Opportunities 阅读笔记 论文地址 https://ieeexplore.ieee.org/document/9005467/ 摘要 在这项研究中，我们研究了从文本中提取人格特质的可能性。我们通过让专家在来自多个在线来源的大量文本中注释个性特征来创建了一个大数据集。从这些带注释的文本中，我们选择了一个样本，并进行了 进一步的注释 ，得到了两个数据集 （ 一个是大型低可靠性的数据集， 另一个是小型高可靠性的数据集 ）。然后我们使用这两个数据集来训练和测试几种机器学习模型，以从文本中提取个性。最后，我们对来自不同领域的野生数据集进行了评估。我们的结果表明，基于小型高可靠性数据集的模型比基于大型低可靠性数据集的模型表现更好。而且基于小型高可靠性数据集的语言模型的性能要优于随机Baseline方法。最后，结果表明，在野生数据集测试时， 我们最好的模型的性能没有比随机基准更好 。我们的结果表明，从文本中确定人格特征仍然是一个挑战，并且在野生数据集测试之前无法对模型性能做出明确的结论。 1. 介绍 THE BIG FIVE 模型， 把人的个性分为5种类型： 开放性（openness）：具有想象、审美、情感丰富、求异、创造、智能等特质。 责任心

http://www.atyun.com/2257.html Adam优化算法是一种对随机梯度下降法的扩展，最近在计算机视觉和自然语言处理中广泛应用于深度学习应用。在引入该算法时，OpenAI的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在他们的2015 ICLR 发表了一篇名为“ Adam: A Method for Stochastic Optimization ”的论文，列出了使用亚当在非凸优化问题上的诱人好处，如下: 简单直接的实施 计算上讲究效率 小内存要求 不变量对梯度的对角线重新调节 非常适合于数据和/或参数方面的问题 适合非平稳的目标 适用于非常稀梳梯度的问题。 超参数具有直观的解释，通常需要很少的调谐。 Adam 如何工作？ Adam与经典的随机梯度下降法是不同的。随机梯度下降保持一个单一的学习速率(称为alpha)，用于所有的权重更新，并且在训练过程中学习速率不会改变。每一个网络权重(参数)都保持一个学习速率，并随着学习的展开而单独地进行调整。该方法从梯度的第一次和第二次矩的预算来计算不同参数的自适应学习速率。 作者描述Adam时将随机梯度下降法两种扩展的优势结合在一起。 具体地说: 自适应梯度算法(AdaGrad) 维护一个参数的学习速率，可以提高在稀疏梯度问题上的性能(例如，自然语言和计算机视觉问题)。 均方根传播(RMSProp)

from: https://www.jianshu.com/u/c9bd3225567e A 准确率 （accuracy） 分类模型预测准确的比例。在多类别分类中，准确率定义如下： 在二分类中，准确率定义为： 激活函数 （Activation function） 一种函数（例如 ReLU 或 Sigmoid），将前一层所有神经元激活值的加权和输入到一个非线性函数中，然后向下一层传递该函数的输出值（典型的非线性）。 AdaGrad 一种复杂的梯度下降算法，重新调节每个参数的梯度，高效地给每个参数一个单独的学习率。 AUC（ 曲线下面积 ） 一种考虑到所有可能的分类阈值的评估标准。ROC 曲线下面积代表分类器随机预测真正类（Ture Positives）要比假正类（False Positives）概率大的确信度。 B 反向传播（Backpropagation） 神经网络中完成梯度下降的重要算法。首先，在前向传播的过程中计算每个节点的输出值。然后，在反向传播的过程中计算与每个参数对应的误差的偏导数。 基线（Baseline） 被用为对比模型表现参考点的简单模型。基线帮助模型开发者量化模型在特定问题上的预期表现。 批量 模型训练中一个迭代（指一次梯度更新）使用的样本集。 批量大小 （batch size） 一个批量中样本的数量。例如，SGD 的批量大小为 1，而 mini-batch

模型名称 基本原理 特点 局限性 协同过滤 根据用户的行为历史生成用户-物品共现矩阵，利用用户相似性和物品相似性进行推荐 原理简单、直接，应用广泛 泛化能力差，处理稀疏矩阵的能力差，推荐结果的头部效应明显 矩阵分解 将协同过滤算法中的共现矩阵分解为用户矩阵和物品矩阵，利用用户隐向量和物品隐向量的内积进行排序并推荐 相较协同过滤，泛化能力有所增强，对稀疏矩阵的处理能力有所增强 除了用户历史行为数据，难以利用 其他用户、物品特征及上下文特征 逻辑回归 将推荐问题转换成类似CTR预估的二分类问题，将用户、物品、上下文等不同特征转换成特征向量，再按照预估CTR进行排序并推荐 能够融合多种类型的不同特征 模型不具备特征组合能力，表达能力较差 FM 再逻辑回归的基础上，再模型中假如二阶特征交叉部分，为每一维特征训练得到相应特征隐向量，通过隐向量的内积运算得到交叉特征权重 相比逻辑回归，具备了二阶特征交叉能力，模型的表达能力有所增强 由于组合爆炸问题的限制，模型不易扩展到三阶特征交叉阶段 FFM 在FM模型的基础上，加入“特征域”的概念，使每个特征在与不同域的特征交叉时采用不同的隐向量 相比FM，进一步加强了特征交叉能力 模型的训练开销达到了O(n2)的量级，训练开销较大 GBDT+LR 利用GBDT进行“自动化”的特征组合，将原始特征向量转换成离散型特征向量，并输入逻辑回归模型

TensorFlow-Slim image classification model library TF-slim is a new lightweight high-level API of TensorFlow ( tensorflow.contrib.slim ) for defining, training and evaluating complex models. This directory contains code for training and evaluating several widely used Convolutional Neural Network (CNN) image classification models using TF-slim. It contains scripts that will allow you to train models from scratch or fine-tune them from pre-trained network weights. It also contains code for downloading standard image datasets, converting them to TensorFlow's native TFRecord format and reading

　　　　在 强化学习(十八) 基于模拟的搜索与蒙特卡罗树搜索(MCTS) 中，我们讨论了MCTS的原理和在棋类中的基本应用。这里我们在前一节MCTS的基础上，讨论下DeepMind的AlphaGo Zero强化学习原理。 　　　　本篇主要参考了AlphaGo Zero的 论文 , AlphaGo Zero综述 和AlphaGo Zero Cheat Sheet。 1. AlphaGo Zero模型基础 　　　　AlphaGo Zero不需要学习人类的棋谱，通过自我对弈完成棋力提高。主要使用了两个模型，第一个就是我们上一节介绍MCTS树结构，另一个是一个神经网络。MCTS上一篇已经有基本介绍了，对于神经网络，它的输入是当前的棋局状态，输出两部分，第一部分输出是在当前棋局状态下各个可能的落子动作对应的获胜概率p，可以简单理解为Actor-Critic策略函数部分。另一部分输出为获胜或者失败的评估[-1,1]，可以简单理解为Actor-Critic价值函数部分。 　　　　AlphaGo Zero的行棋主要是由MCTS指导完成的，但是在MCTS搜索的过程中，由于有一些不在树中的状态需要仿真，做局面评估，因此需要一个简单的策略来帮助MCTS评估改进策略，这个策略改进部分由前面提到的神经网络完成。 　　　　这两部分的关系如下图所示： 　　　　具体AlphaGo Zero的MCTS如何搜索