神经网络

↑公众号关注 “Graph-AI” 专注于 图机器学习 WWW2020 图相关论文集 “ WWW（International World Wide Web Conferences，国际万维网大会），由国际万维网会议指导委员会主办，是CCF A类会议。 “ 全部收录论文列表：https://dblp.uni-trier.de/db/conf/www/www2020.html 01 Full Paper 图卷积 Unsupervised Domain Adaptive Graph Convolutional Networks A Generic Edge-Empowered Graph Convolutional Network via Node-Edge Mutual Enhancement 异构图 Task-Oriented Genetic Activation for Large-Scale Complex Heterogeneous Graph Embedding MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding 图注意力模型 Towards Fine-grained Flow Forecasting: A Graph Attention Approach for

大数据篇：HDFS HDFS是什么? Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 如果没有HDFS! 大文件的储存我们必须要拓展硬盘。 硬盘拓展到一定的量以后，我们就不能在一个硬盘上储存文件了，要换一个硬盘，这样文件管理就成了问题。 为了防止文件的损坏吗，我们需要创建副本，副本的管理也成了问题。 分布式计算非常麻烦。 1 HDFS出现原因 1.1 早期文件服务器 从上图中，我们可以看出，存储一个文件，我们一直往一个机子上面存是不够的，那么我们在储存量不够的时候就会加机子。 但是如果一个文件放在一台机子上，如果该机器挂了，那么文件就丢失了，不安全。 所以我们会把一个文件放在多台机子上，创建一个索引文件来储存文件的指针

点击上方“ 视学算法 ”，选择加" 星标 " 重磅干货，第一时间送达 本文转载自：机器之心 | 作者：Eugene Khvedchenya 参与：小舟、蛋酱、魔王 高性能 PyTorch 的训练管道是什么样的？是产生最高准确率的模型？是最快的运行速度？是易于理解和扩展？还是容易并行化？答案是，包括以上提到的所有。 如何用最少的精力，完成最高效的 PyTorch 训练？ 一位有着 PyTorch 两年使用经历的 Medium 博主最近分享了他在这方面的 10 个真诚建议 。 ‍ 在 Efficient PyTorch 这一部分中，作者提供了一些识别和消除 I/O 和 CPU 瓶颈的技巧。第二部分阐述了一些高效张量运算的技巧，第三部分是在高效模型上的 debug 技巧。 在阅读这篇文章之前，你需要对 PyTorch 有一定程度的了解。 好吧，从最明显的一个开始： 建议 0：了解你代码中的瓶颈在哪里 命令行工具比如 nvidia-smi、htop、iotop、nvtop、py-spy、strace 等，应该成为你最好的伙伴。你的训练管道是否受 CPU 约束？IO 约束？GPU 约束？这些工具将帮你找到答案。 这些工具你可能从未听过，即使听过也可能没用过。没关系。如果你不立即使用它们也可以。只需记住，其他人可能正在用它们来训练模型，速度可能会比你快 5%、10%、15%-……

attention的本质 　　通过计算Query和一组Key的相似度（或者叫相关性/注意力分布），来给一组Value赋上权重，一般地还会求出这一组Value的加权和。 　　 　　一个典型的soft attention如下公式所示： 　　 　　先用Query求出分别和一组Key计算相似度，计算相似度的方法有很多种，常用的有点乘、perceptron 　　然后用softmax归一化，得到每个Key对应的概率分布α（或者叫权重），即attention 　　由于Key和Value是一一对应的，再用α对Value做加权求和，得到加权和 Seq2Seq模型中attention的应用 　　 　　在Seq2Seq模型中，Key = Value = encoder hidden state（即h），而 Query = decoder hidden state（即z） 　　其实际的含义也很好理解：通过计算当前decode出来的hidden state和encode时的hidden state的关系，给原来所有的encode的hidden state加一个权重，然后求加权和，相当于计算当前输出词对每个输入词的相关性，用这个相关性做加权求和，得到最终的hidden state。 　　（上图刚好没有计算Q、K、V的过程，计算顺序是这样的：z0、h -> α0 -> c0 -> z1 ... ...， 其中

摘要 ：想了解深度学习却又无从下手，不如从手写数字识别模型训练开始吧！ 深度学习作为机器学习分支之一，应用日益广泛。语音识别、自动机器翻译、即时视觉翻译、刷脸支付、人脸考勤……不知不觉，深度学习已经渗入到我们生活中的每个角落，给生活带来极大便利。即便如此，依然有很多人觉得深度学习高深莫测、遥不可及，的确，它有深奥之处，非专业人士难以企及，但也有亲和力十足的一面，让没有基础的小白也能轻松上手，感受深度学习的魅力，接下来要介绍的手写数字识别模型训练正是如此。 手写数字识别初探 手写数字识别是计算机视觉中较为简单的任务，也是计算机视觉领域发展较早的方向之一，早期主要用于银行汇款、单号识别、邮政信件、包裹的手写、邮编识别等场景，目前手写数字识别已经达到了较高的准确率，得到大规模的推广与应用。虽然手写数字识别本身的领域比较狭窄，实用性有限，但是在它基础上发展起来的卷积神经网络等计算机视觉技术早已应用在更为复杂的任务中，因此，手写数字识别也成为计算机视觉领域衡量算法表现的一个基准任务。所以，通过这一实践场景来了解神经网络开发和训练，可谓再好不过了。如何使用深度学习框架MindSpore进行模型开发与训练？又如何在ModelArts平台训练一个可以用于识别手写数字的模型呢？让我们来一探究竟吧。 数据集的选择与准备 机器学习中的传统机器学习和深度学习都是数据驱动的研究领域

选自towardsdatascience 作者：Eugene Khvedchenya 机器之心编译 参与：小舟、蛋酱、魔王 高性能 PyTorch 的训练管道是什么样的？是产生最高准确率的模型？是最快的运行速度？是易于理解和扩展？还是容易并行化？答案是，包括以上提到的所有。 如何用最少的精力，完成最高效的 PyTorch 训练？ 一位有着 PyTorch 两年使用经历的 Medium 博主最近分享了他在这方面的 10 个真诚建议 。 ‍ 在 Efficient PyTorch 这一部分中，作者提供了一些识别和消除 I/O 和 CPU 瓶颈的技巧。第二部分阐述了一些高效张量运算的技巧，第三部分是在高效模型上的 debug 技巧。 在阅读这篇文章之前，你需要对 PyTorch 有一定程度的了解。 好吧，从最明显的一个开始： 建议 0：了解你代码中的瓶颈在哪里 命令行工具比如 nvidia-smi、htop、iotop、nvtop、py-spy、strace 等，应该成为你最好的伙伴。你的训练管道是否受 CPU 约束？IO 约束？GPU 约束？这些工具将帮你找到答案。 这些工具你可能从未听过，即使听过也可能没用过。没关系。如果你不立即使用它们也可以。只需记住，其他人可能正在用它们来训练模型，速度可能会比你快 5%、10%、15%-…… 最终可能会导致面向市场或者工作机会时候的不同结果。

来源：智源社区、AI科技评论 本文 约4700字 ，建议阅读 10 分钟 周明副院长在“语言与智能高峰论坛”讲解从语言智能到代码智能。 11月6日上午，在中国中文信息学会和中国计算机学会联合创办的“ 语言与智能高峰论坛” 上，微软亚洲研究院副院长周明，以 《从语言智能到代码智能》 为题，介绍了智能代码理解和生成代码的机理、预训练模型(CodeBERT/CodeGPT)、基准数据集(CodeXGLUE)以及融合了编程语言句法和语义信息的新的评价指标(CodeBLEU)，分享了微软在编程语言知识和上下文进行推理，支持代码检索、补全、翻译、纠错、问答等场景的应用。 周明，微软亚洲研究院副院长、中国计算机学会副理事长、国际计算语言学会（ACL）前任会长。 1、NLP预训练模型到代码智能预训练模型 自然语言处理在深度学习的支撑下取得了迅猛发展，把自然语言发展的技术迁移到智能代码研究领域，以提升代码能力成为近年来新的研究热点。 代码智能能够让计算机具备理解和生成代码的能力，利用编程的语言知识和上下文进行推理，支持代码检索、代码翻译等场景应用。 图1：基于神经网络的NLP研究（NN-NLP） 图为清华大学唐杰团队总结的过去5年ACL文章中自然语言发展的主要工作，包括 Word embeddings、LSTM、Encode decoder、RNN、Pre-trainedmodel 等

来源：机器之心 本文 约2000字 ，建议阅读 5 分钟 最近，天才黑客 George Hotz 开源了一个小型深度学习框架 tinygrad，兼具 PyTorch 和 micrograd 的功能。tinygrad 的代码数量不到 1000 行，目前该项目获得了 GitHub 1400 星。 在深度学习时代，谷歌、Facebook、百度等科技巨头开源了多款框架来帮助开发者更轻松地学习、构建和训练不同类型的神经网络。而这些大公司也花费了很大的精力来维护 TensorFlow、PyTorch 这样庞大的深度学习框架。 除了这类主流框架之外，开发者们也会开源一些小而精的框架或者库。比如今年 4 月份，特斯拉人工智能部门主管 Andrej Karpathy 开源了其编写的微型 autograd 引擎 micrograd，该引擎还用 50 行代码实现了一个类 PyTorch api 的神经网络库。目前，micrograd 项目的 GitHub star 量达到 1200 星。 不久前，天才黑客 George Hotz（乔治 · 霍兹）开源了一个小型 Autograd Tensor 库 tinygrad，它介于 PyTorch 和 micrograd 之间，能够满足做深度学习的大部分要求。上线不到一个月，该项目在 GitHub 上已经获得 1400 星。 项目地址： https:/

作者：慕苏 红色石头的个人网站： 红色石头的个人博客-机器学习、深度学习之路 ​ www.redstonewill.com 【 简介 】 本文将两种生物视觉机制，分别是视网膜的非均匀采样机制和多种不同大小的感受野存在机制，应用到神经网络中，提高了神经网络的对抗鲁棒性。 论文地址： https:// arxiv.org/abs/2006.1642 7 【 引言 】 尽管卷积神经网络在视觉识别任务上取得了卓越的表现，但它们在一些任务上仍然落后于人类的视觉系统。比如，神经网络对于微小的对抗扰动十分脆弱，而人眼对于视觉刺激上的微小扰动则非常鲁棒。近年来，有大量工作表明人工神经网络在建模大脑的腹侧视觉流上具有适用性。因此，本文提出将两种生物视觉机制应用到神经网络中，以提高神经网络的对抗鲁棒性。此外，作者通过消融实验，进一步分析了每种机制中影响神经网络鲁棒性的关键因素。 【 模型介绍 】 1. 生物视觉机制 第一种机制是视网膜对视觉刺激的非均匀空间采样机制。视网膜小凹中心的视锥细胞密度最大，从中心向四周视锥细胞密度递减。上图左侧显示了5种视网膜注视点下，视网膜空间采样的分布和效果。 第二种机制是视觉皮层V1细胞存在不同尺度的感受野机制。上图右侧显示了5种不同的视觉皮层注视点下，周围不同空间尺度的感受野区域（红色矩形框）。 2. 基于生物视觉机制设计模型 基于上述两种生物视觉机制

YOLO之父Joseph Redmon在今年年初宣布退出计算机视觉的研究的时候，很多人都以为目标检测神器YOLO系列就此终结。然而在4月23日，继任者YOLO V4却悄无声息地来了。Alexey Bochkovskiy发表了一篇名为YOLOV4: Optimal Speed and Accuracy of Object Detection的文章。YOLO V4是YOLO系列一个重大的更新，其在COCO数据集上的平均精度(AP)和帧率精度(FPS)分别提高了10% 和12%，并得到了Joseph Redmon的官方认可，被认为是当前最强的实时对象检测模型之一。 正当计算机视觉的从业者们正在努力研究YOLO V4的时候，万万没想到，有牛人不服。6月25日，Ultralytics发布了YOLOV5 的第一个正式版本，其性能与YOLO V4不相伯仲，同样也是现今最先进的对象检测技术，并在推理速度上是目前最强。 从上图的结果可以看出，YOLO V5确实在对象检测方面的表现非常出色，尤其是YOLO V5s 模型140FPS的推理速度非常惊艳。 YOLO V5和V4集中出现让很多人都感到疑惑，一是YOLO V5真的有资格能被称作新一代YOLO吗？二是YOLO V5的性能与V4相比究竟如何，两者有啥区别及相似之处？ 在本文中我会详细介绍YOLO V5和YOLO V4的原理，技术区别及相似之处