神经网络

　　本文是第三十四届神经信息处理系统大会（NeurIPS 2020）入选论文《生成式的基于动态图网络学习的三维部件拼装（Generative 3D Part Assembly via Dynamic Graph Learning）》的解读，首发于知乎。 　　知乎原文： 　　https://zhuanlan.zhihu.com/p/265319518 　　项目主页： 　　https://hyperplane-lab.github.io/Generative-3D-Part-Assembly/ 　　论文链接： 　　https://arxiv.org/pdf/2006.07793.pdf 　　代码仓库： 　　https://github.com/Championchess/Generative-3D-Part-Assembly 　　 　　1 　　引言 　　三维形状的部件拼装，是计算机视觉、图形学领域的基本问题。如图1所示，三维部件拼装在数学上可以形式化为对于各个输入部件的位姿估计（pose estimation）问题，即给定各个部件在各自规范空间（canonical space）中的布局，目标是组成一个完整的形状。三维部件拼装有着很广泛的应用，比如从家具城买回来一堆家具的部件，或者工厂当中有一堆杂乱摆放的零件，这时候则需要机器人把这些零散的部件组装成完整的、可供使用的整体。 　

来源 | 清华大学计算机系校友会 北京时间10月14日，清华大学计算机科学与技术系（以下简称“计算机系”）张悠慧团队、精密仪器系（以下简称“精仪系”）施路平团队与合作者在《Nature》杂志发文，首次提出“类脑计算完备性”以及软硬件去耦合的类脑计算系统层次结构。 这是清华大学计算机系以第一完成单位/通讯单位发表的首篇《Nature》论文，也完成了清华大学一年多以来在《Nature》正刊的类脑计算领域“三连发”。 与通用计算机的“图灵完备性”概念与“冯诺依曼”体系结构相对应，本篇题为《一种类脑计算系统层次结构》（A system hierarchy for brain-inspired computing）的论文首次提出“类脑计算完备性”以及软硬件去耦合的类脑计算系统层次结构，通过理论论证与原型实验证明该类系统的硬件完备性与编译可行性，并扩展了类脑计算系统应用范围使之能支持通用计算。 类脑计算处于起步阶段，国际上尚未形成公认的技术标准与方案，这一成果填补了完备性理论与相应系统层次结构方面的空白，利于自主掌握新型计算机系统核心技术。 近年来，类脑计算研究受到了越来越多的关注。类脑计算，是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计以及应用模型与算法的总称。 其重要性正如欧盟人脑旗舰研究计划项目所指出的：“在未来10到20年内，谁要引领世界经济，谁就必须在这个领域领先

来源：AI前线 作者：Andre Ye 译者：平川 策划：陈思 深度学习是一个广阔的领域，它围绕着一种形态由数百万甚至数十亿个变量决定并不断变化的算法——神经网络。似乎每隔一天就有大量的新方法和新技术被提出来。不过，总的来说，现代深度学习可以分为三种基本的学习范式。每一种都有自己的学习方法和理念，提升了机器学习的能力，扩大了其范围。 本文最初发布于 Towards Data Science 博客，由 InfoQ 中文站翻译并分享。 深度学习的未来在于这三种学习模式，而且它们彼此之间密切相关： 混合学习——现代深度学习方法如何跨越监督学习和非监督学习之间的边界，以适应大量未使用的无标签数据？ 复合学习——如何以创造性的方法将不同的模型或组件连接起来，以生成一个大于各部分之和的复合模型？ 简化学习——出于性能和部署目的，如何减少模型的规模和信息流，同时保持相同或更强的预测能力？ 混合学习 这种范式试图跨越监督学习和非监督学习之间的界限。由于有标签数据缺乏且成本高，所以常常在业务上下文中使用。从本质上说，混合学习是对下面这个问题的回答： 如何使用监督方法解决非监督问题？ 首先，半监督学习在机器学习领域取得了良好的进展，因为它只需要很少的有标签数据就能够在监督问题上有非常好的表现。例如，一个设计良好的半监督式 GAN（生成式对抗网络）只需要 25 个训练样本，就能在 MNIST

今天我们来学习 CNN，大家可能都知道 CNN 主要应用于图像领域，但其实近几年在自然语言处理领域也经常使用 CNN 来做一些任务，这篇文章我们先介绍一下 CNN 的基础，下一篇将介绍一个很擅长处理图像任务的模型要如何用于文本序列任务。 什么是 CNN CNN：Convolutional Neural Network，卷积神经网络 ，主要用于图像领域，可以用来做图像分类任务，比如大家熟知的手写识别、聚类任务、如图片搜索，此外还有物体识别、人脸识别、自动驾驶、无人机、机器人学，医学诊断等领域中也表现出色。在 2016 年的 ImageNet Large Scale Visual Recognition Challenge（ILSVRC）的图像分类任务中，CNN 在 1000 个不同类别中就已经可以达到 98% 的准确率了。 都有哪些著名的卷积神经网络 在进入详细的理论部分，我们先看一下几大著名的卷积神经网络，这对我们后面了解基础结构也有一定的帮助。 我们将按照时间顺序简单介绍下面八种结构： LeNet-5 AlexNet VGG-16 Inception-v1 Inception-v3 ResNet-50 Xception ResNeXt-50 Alfredo Canziani 等人曾经发过一篇论文 AN ANALYSIS OF DEEP NEURAL NETWORK MODELS

从B站数据遭竞品批量爬取，到华住集团信息泄露；从东海航空遭遇大规模恶意占座，到马蜂窝旅游网站事件；从接码平台日赚百万到双十一电商风险爆发.....顶象2018年第三季度业务风险监测数据显示，恶意爬取是Q3所有业务风险中占比最高，排在第二位的是虚假注册，其次是账号盗用、推广作弊及其他、薅羊毛等。 薅羊毛、盗号冒用、虚假注册、恶意爬取、推广作弊等等各种业务不仅给业务平台带来巨大经济损失，损害了用户合法权益，更破坏了商业秩序。 其实，这些风险可以通过模型来防控。例如，在日常生活中，我们会关注每天的天气和气温变化，如果气温骤降，就会做出添衣的决策，如果第二天下雨的概率很大，就会做出带把伞出门的决策，从而达到降低患上感冒的可能性。让我们拥有这种潜意识的就是威胁模型。 所谓威胁建模，就是使用抽象的概念来分析可能存在或出现的风险，并减轻或降低风险的对策过程。通过威胁建模，可以防范上面提到的互联网业务风险；通过威胁建模更可以防范信用欺诈、虚假注册、钓鱼诈骗、信用恶化、贷款逾期等金融欺诈。 威胁建模的必要性与核心价值 完善设计 绝大部分的开发团队都使用系统需求分析文档、软件系统设计文档以及功能模块详细设计文档来规范系统的开发和测试过程；整个开发周期中，只在测试阶段引入渗透测试或者安全代码审计来提高交付的系统的安全性。但是，因为设计阶段就缺少安全部分的分析设计工作

GraphSAGE 是 17 年的文章了，但是一直在工业界受到重视，最主要的就是它论文名字中的两个关键词：inductive 和 large graph。今天我们就梳理一下这篇文章的核心思路，和一些容易被忽视的细节。 为什么要用 GraphSAGE 大家先想想图为什么这么火，主要有这么几点原因，图的数据来源丰富，图包含的信息多。所以现在都在考虑如何更好的使用图的信息。 那么我们用图需要做到什么呢？最核心的就是利用图的结构信息，为每个 node 学到一个合适的 embedding vector。只要有了合适的 embedding 的结果，接下来无论做什么工作，我们就可以直接拿去套模型了。 在 GraphSAGE 之前，主要的方法有 DeepWalk，GCN 这些，但是不足在于需要对全图进行学习。而且是以 transductive learning 为主，也就是说需要在训练的时候，图就已经包含了要预测的节点。 考虑到实际应用中，图的结构会频繁变化，在最终的预测阶段，可能会往图中新添加一些节点。那么该怎么办呢？GraphSAGE 就是为此而提出的，它的核心思路其实就是它的名字 GraphSAGE = Graph Sample Aggregate。也就是说对图进行 sample 和 aggregate。 GraphSAGE 的思路 我们提到了 sample 和 aggregate

点击蓝色“程序员书单”关注我哟 加个“星标”，每天带你读好书！ ​ 在介绍本书单之前，我想先问一下各位读者，你们之前对于Java并发编程的了解有多少呢。经过了10多年的发展，Java Web从开发框架到社区都已经非常成熟，很多程序员都可以通过使用框架很快速地搭建起一个Java Web应用，特别是近几年SpringBoot大热，干脆连配置都不需要了解了，直接一键式编译部署运行，让Java工程师的入门成本变得越来越低。 但于此同时，互联网公司对于Java的应用场景也在不断地升级换代，从单机部署再到分布式，从SOA再到微服务，Java后端技术栈变得更加庞大，对于工程师的要求也越来越高，特别是对于大公司来说更是如此，也正因为如此，对Java工程师的考察已经不限于Java Web的那套东西了，企业往往会提出更高的要求，比如熟悉Java并发编程和JVM调优，了解分布式技术、微服务以及中间件等等。 而今天的这份书单就会来推荐一些关于Java并发编程的好书，对于一个Java工程师来说，我们一开始接触的其实是Java中的多线程，所以这份书单也会由浅入深依次推荐相应的书籍，从多线程基础，再到并发编程实战，最后则会推荐几本关于并发编程原理的书籍，其中也包含了对于JUC并发包的源码解析。 Java并发编程书单 ​ Java多线程编程核心技术 Java多线程是每个Java工程师都必须要掌握的知识点

©PaperWeekly 原创 · 作者｜尹娟 学校｜北京理工大学博士生 研究方向｜随机过程、复杂网络单位 引言 贝叶斯神经网络（BNN）在最近几年得到了一定的重视，因为其具有一定的推断能力。BNN 不同于一般的 DNN，其权重参数是随机变量，而非确定的值，它是通过概率建模和神经网络结合起来，并能够给出预测结果的置信度。 其先验用来描述关键参数，并作为神经网络的输入。神经网络的输出用来描述特定的概率分布的似然。通过采样或者变分推断来计算后验分布。这对于很多问题来说非常关键，由于 BNN 具有不确定性量化能力，所以具有非常强的鲁棒性。 本文分析了贝叶斯神经网络对对抗攻击具有一定的鲁棒性并且分析了在大数据量、过参数极限下的对抗攻击的几何结构。 并且作者证明了，在一定范围内，由于数据分布中的简并性（高维数据可以映射到低维流形上），当数据位于环境空间的低维子流形上时，基于梯度的攻击的脆弱性就会出现，并且本论文提供了相关的代码，最后一部分会介绍相关的代码。 论文标题： Robustness of Bayesian Neural Networks to Gradient-Based Attacks 论文链接： https://arxiv.org/abs/2002.04359 论文的贡献 本文的贡献可以归结如下三点： 作者提出了在大数据限制下 BNNs 对抗鲁棒性分析的理论框架

cs224u 监督情感分析：RNN classifiers（3) 递归神经网络（RNN）是一种按顺序处理输入的深度学习模型，本文使用RNN分类器。 对于长度为n的序列： 其中1⩽t⩽n，如上图所示，隐藏状态序列初始状态用h0表示，在我们的实现中是一个0向量，但可以用更复杂的方式初始化。 RNN数据集准备 SST包含树，但RNN只处理叶节点序列。函数sst.build_rnn_dataset创建以下格式的数据集： X_rnn_train, y_rnn_train = sst.build_rnn_dataset( SST_HOME, sst.train_reader, class_func=sst.ternary_class_func) def build_rnn_dataset(sst_home, reader, class_func=ternary_class_func): """Given an SST reader, return the `class_func` version of the dataset as (X, y) training pair. Parameters ---------- sst_home : str Ful 来源： oschina 链接： https://my.oschina.net/u/4265475/blog/4297250

来源 | 专知 摘要 知识图谱(KGs)在工业和学术领域有很多应用，这反过来又推动了朝着大规模地从各种来源提取信息大量的研究工作。尽管付出了这些努力，但众所周知，即使是最先进的KGs也是不完整的。链路预测(Link Prediction, LP)是一种根据KG中已存在的实体去预测缺失事实的任务，是一种有前途的、广泛研究的、旨在解决KG的不完整的任务。在最近的LP技术中，基于KG嵌入的LP技术在一些基准测试中取得了很好的性能。尽管这方面的文献在迅速增加，但对这些方法中各种设计选择的影响却没有引起足够的注意。此外，这一领域的标准做法是通过测试大量的事实来报告准确性，其中一些实体被过度表示；这允许LP方法通过只修改包含这些实体的结构属性来展示良好的性能，而忽略KG的主要部分。 本篇综述分析提供了基于嵌入的LP方法的全面比较，将分析的维度扩展到常见的文献范围之外。 我们通过实验比较了16种最先进的方法的有效性和效率，考虑了一个基于规则的基准，并报告了文献中最流行的基准的详细分析。 介绍 知识图谱(KGs)是真实世界信息的结构化表示。在一个KG中，节点表示实体，例如人和地点；标签是连接它们的关系类型；边是用关系连接两个实体的特定事实。由于KGs能够以机器可读的方式对结构化、复杂的数据进行建模，因此它被广泛应用于各个领域，从问答到信息检索和基于内容的推荐系统