神经网络

前面的话 上次文章中，我们主要关注了 视觉应用中的Self-attention机制及其应用——Non-local网络模块 ，从最开始的了解什么是视觉注意力机制到对自注意力机制的细节把握，再到Non-local模块的学习。这次的文章我主要来关注 视觉注意力机制在分类网络中的应用 —— SENet、SKNet、CBAM。 我们通常将软注意力机制中的模型结构分为三大注意力域来分析： 空间域、通道域、混合域 。 （1） 空间域 —— 将图片中的的空间域信息做对应的 空间变换 ，从而能将关键的信息提取出来。对空间进行掩码的生成，进行打分，代表是Spatial Attention Module。 （2） 通道域 ——类似于 给每个通道上的信号都增加一个权重，来代表该 通道与关键信息的相关度 的话，这个权重越大，则表示相关度越高。对通道生成掩码mask，进行打分，代表是senet, Channel Attention Module。 （3） 混合域 —— 空间域的注意力是 忽略了通道域中的信息，将每个通道中的图片特征同等处理， 这种做法会将空间域变换方法局限在原始图片特征提取阶段，应用在神经网络层其他层的 可解释性不强 。 而通道域的注意力是 对一个通道内的信息直接全局平均池化，而忽略每一个通道内的局部信息 ，这种做法其实也是比较暴力的行为。所以结合两种思路，就可以设计出混合域的注意力机制模型。

今天是2020年11月6日，来到上海正好一个月了，想写一篇学习小结，然后开始尝试一下新的学习方式。 目录 学习资料分享 有关python学习 有关OpenCV+python计算机视觉图像处理学习 有关神经网络学习 有关深度学习基础学习 偏理论 偏实践 关于框架学习 Keras tensorflow Pytorch 方法思考 基础学习 解决问题 新思想新灵感 展望 小结 2020年3月开始接触计算机视觉，接触keras框架，当时很多都不懂，一点一点啃，最后顺利完成了我的第一个视觉项目也就是我的毕设《基于卷积神经网络的人脸表情识别系统的设计与实现》。现简单回忆一下当时的学习历程，顺便总结一点点小小的经验，希望对入门的同学有所帮助，一起加油（一些学习视频的选择可能不是很经典，但却是我自己的有意无意选择了的，故仅做参考）。 学习资料分享 有关python学习 第一次接触python是在2018年10月，当时国庆假期一个人在本科实验室刷视频，做笔记，疯狂输入。学习的是《[小甲鱼]零基础入门学习Python》，当时很遗憾的是没有充分使用CSDN博客，把笔记全都记在了Word文档，记录了很多，有点杂乱。刚开始记笔记也有点笨，很多都记，同时也跟着敲代码，不断试验、出错和解决。有时候遇到好玩的还会自己写个代码逗自己开心（如下图的朋友圈截屏）。 B站链接：https://b23.tv/kLRXOX

一种新颖的深度学习加速器。专用单元定义了一个 SRAM ，该单元可以处理矩阵乘法，量化，存储以及推理处理器所需的其他工作。 在Spice仿真中，当使用8位整数数学识别手写数字时，该设计可提供100兆次操作/秒/瓦（TOPS / W）。它的计算密度可以击败Google的TPU一个数量级。 该设计是使用内存中计算方法的加速器产品线中最新的一种。设计使用40纳米NOR闪存单元的深度学习处理器，其目标是为监视摄像机等设备使用低功耗芯片。 设计时使用了很少的模拟电路，因此可以扩展到精细的工艺节点。它可能成为低功耗处理器中引擎（从边缘到云）的引擎。 独特的方式操纵SRAM单元以处理深度学习任务 这个设计使用户可以为从权重到神经网络层甚至单个神经元的所有内容创建自定义参数。这种灵活性可以使将来设计用于训练处理器的设计成为可能。但是尚无用于对该设计进行编程的软件堆栈，可能会在以后解决或留给将来的客户使用。 来源： oschina 链接： https://my.oschina.net/u/4542041/blog/4589907

课程名称 内容 阶段一、人工智能基础 — 高等数学必知必会 1.数据分析 "a. 常数e b. 导数 c. 梯度 d. Taylor e. gini系数 f. 信息熵与组合数 g. 梯度下降 h. 牛顿法" 2.概率论 "a. 微积分与逼近论 b. 极限、微分、积分基本概念 c. 利用逼近的思想理解微分，利用积分的方式理解概率 d. 概率论基础 e. 古典模型 f. 常见概率分布 g. 大数定理和中心极限定理 h. 协方差(矩阵)和相关系数 i. 最大似然估计和最大后验估计" 3.线性代数及矩阵 "a. 线性空间及线性变换 b. 矩阵的基本概念 c. 状态转移矩阵 d. 特征向量 e. 矩阵的相关乘法 f. 矩阵的QR分解 g. 对称矩阵、正交矩阵、正定矩阵 h. 矩阵的SVD分解 i. 矩阵的求导 j. 矩阵映射/投影" 4. 凸优化 "a. 凸优化基本概念 b. 凸集 c. 凸函数 d. 凸优化问题标准形式 e. 凸优化之Lagerange对偶化 f. 凸优化之牛顿法、梯度下降法求解" 阶段二、人工智能提升 — Python高级应用 1. 容器 "a. 列表:list b. 元组:tuple c. 字典: dict d. 数组: Array e. 切片 f. 列表推导式 g. 浅拷贝和深拷贝" 2. 函数 "a. lambda表达式 b. 递归函数及尾递归优化 c.

一年一度最火热的国际人工智能顶会NeurIPS 2019于当地时间12月8日至14日在加拿大温哥华举办。作为人工智能和机器学习领域最顶级的盛会之一，每年都会吸引大量专家、学者和AI领域从业人员参与。 据悉，今年NeurIPS 2019论文投稿数量创造了新纪录，吸引了全球范围内共6743篇有效论文投递，而录取率只有21.17%。蚂蚁金服也有多篇论文入选，聚焦对抗生成网络GAN、图神经网络GNN、深度强化学习等课题。 在会上，蚂蚁金服与阿里巴巴共同举办了一场专家云集的主题workshop，蚂蚁金服研究员宋乐与楚巍分别带来了精彩演讲，分享了人工智能在蚂蚁金服业务的应用场景与实践。除了workshop，在本届NeurIPS展台上，支付宝展出的基于图像识别技术的智能垃圾分类小程序和智能回收箱视频也吸引了众多学者的关注，现场观众通过手机拍照即可轻松识别垃圾物品和对应的垃圾类别。 优秀论文解读之通用深度指数分布族研究 其中的一篇入选的优秀论文是 《使用对抗式动态系统嵌入的深度指数族分布估计》 ，内容涉及通用深度指数分布族的最大似然估计的求解，以及高效的利用其进行推断。 指数分布族 （exponential family），同时又被称为能量模型（energy-based model），是一类广泛应用的生成式概率模型。通过和深度模型结合，指数分布族能够灵活的拟合各种数据分布。由于指数分布族的灵活性

计算机视觉研究院专栏 作者：Edison_G 扫描二维码 关注我们 微信公众号 : 计算机视觉研究院 回复“Anchor Free”获取论文集下载 随着 CVPR 2020和ICCV 2020的结束，一大批目标检测的论文在arXiv上争先恐后地露面，更多的论文都可以直接下载。下面几篇paper有异曲同工之妙，开启了anchor-based和anchor-free的轮回。1. Feature Selective Anchor-Free Module for Single-Shot Object Detection2. FCOS: Fully Convolutional One-Stage Object Detection3. FoveaBox: Beyond Anchor-based Object Detector4. High-level Semantic Feature Detection: A New Perspective for Pedestrian Detection 这几篇论文不约而同地将矛头对准了 Anchor 这个检测里面的基础模块，采用anchor-free的方法在单阶段检测器上达到了和anchor-based方法类似或者更好的效果。 anchor-free和anchor-based区别 这个问题首先需要回答为什么要有anchor。在深度学习时代

一、代码 1.代码下载： https://github.com/tkipf/pygcn 代码运行方式： 1）cmd安装：python setup.py install（作用是作者Thomas Kipf已经将写好图卷积网络gcn做成了安装包，安装在python目录下的lib） 2）cmd运行：python train.py 注 PyTorch 0.4 or 0.5 Python 2.7 or 3.6 代码运行结果： 2.代码详解 1）train.py 固定参数设置：epoch，学习率，dropout，隐藏层数，权重衰减（weight decay），随机数 Random seed L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化 model——GCN：特征数，隐藏层数，分类数=标签数+1，dropout数 optimizer（优化）——Adam一般来说是收敛最快的优化器，所以被用的更为频繁 model.train()与model.eval()的用法 接触pytorch时套用别人的框架，会在训练开始之前写上model.trian()，在测试时写上model.eval()。 在经过一番查阅之后，总结如下： 如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()

原文： Deep Learning’s Most Important Ideas[1] 作者 ：Denny Britz（ML 研究员，Google Brain 前成员） 译者：REN 深度学习是一个瞬息万变的领域，层出不穷的论文和新思路可能会令人不知所措。即使是经验丰富的研究人员，也很难准确将研究成果传达给公司的公关部门，继而传达给大众。 对于初学者来说，理解和实现这些技术有利于打下坚实的理论基础，是入门的最佳方法。 在深度学习领域，很多技术都可以跨域多个应用领域，包括计算机视觉，自然语言，语音识别和强化学习等等。在计算机视觉领域使用过深度学习的人，可能很快就能将类似的技术应用到自然语言研究中，即使特定的网络结构有所不同，但其概念，实现方法和代码基本一致。 必须强调的是，本文侧重于计算机视觉，自然语言，语音识别和强化学习领域，但不会详细解释每种深度学习技术，用寥寥数百字解释清楚一篇几十页的论文是不现实的。另外还有一些不容易重现的重要研究，比如 DeepMind 的 AlphaGo 或 OpenAI 的 OpenAI Five（Dota 2 模型），涉及到巨大的工程和运算挑战，因此也不是讨论的重点。 这篇文章的目的，是回顾在深度学习领域影响深远的成果，概述每种技术及其历史背景，尽量引导深度学习新人接触多个领域的基础技术。它们是这个领域最值得信赖的基石，每一个技术都经过了无数次的引用

　　　　在 强化学习(十七) 基于模型的强化学习与Dyna算法框架 中，我们讨论基于模型的强化学习方法的基本思路，以及集合基于模型与不基于模型的强化学习框架Dyna。本文我们讨论另一种非常流行的集合基于模型与不基于模型的强化学习方法：基于模拟的搜索(Simulation Based Search)。 　　　　本篇主要参考了UCL强化学习课程的第八讲，第九讲部分。 1. 基于模拟的搜索概述 　　　　什么是基于模拟的搜索呢？当然主要是两个点：一个是模拟，一个是搜索。模拟我们在上一篇也讨论过，就是基于强化学习模型进行采样，得到样本数据。但是这是数据不是基于和环境交互获得的真实数据，所以是“模拟”。对于搜索，则是为了利用模拟的样本结果来帮我们计算到底应该采用什么样的动作，以实现我们的长期受益最大化。 　　　　那么为什么要进行基于模拟的搜索呢？在这之前我们先看看最简单的前向搜索(forward search)。前向搜索算法从当前我们考虑的状态节点$S_t$开始考虑，怎么考虑呢？对该状态节点所有可能的动作进行扩展，建立一颗以$S_t$为根节点的搜索树，这个搜索树也是一个MDP，只是它是以当前状态为根节点，而不是以起始状态为根节点，所以也叫做sub-MDP。我们求解这个sub-MDP问题，然后得到$S_t$状态最应该采用的动作$A_t$。前向搜索的sub-MDP如下图： 　　　

简介 推荐系统，是当今互联网背后的无名英雄。 我们在某宝首页看见的商品，某条上读到的新闻，某度上的搜索列表，甚至在各种地方看见的广告，都有赖于推荐算法和系统. 本片文章讲述有哪些常用的推荐算法, 协同过滤推荐算法的原理, 以及如何使用协同过滤算法设计一个商品推荐毕业设计系统. 常见推荐算法 协同过滤 协同过滤(Collaborative Filtering)作为推荐算法中最经典的类型，包括在线的协同和离线的过滤两部分。所谓在线协同，就是通过在线数据找到用户可能喜欢的物品，而离线过滤，则是过滤掉一些不值得推荐的数据，比比如推荐值评分低的数据，或者虽然推荐值高但是用户已经购买的数据。 协同过滤的模型一般为m个物品，m个用户的数据，只有部分用户和部分数据之间是有评分数据的，其它部分评分是空白，此时我们要用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。 一般来说，协同过滤推荐分为三种类型。第一种是基于用户(user-based)的协同过滤，第二种是基于项目(item-based)的协同过滤，第三种是基于模型(model based)的协同过滤。 基于用户的协同过滤的基本原理是，根据所有用户对物品或者信息的偏好，发现与当前用户口味和偏好相似的用户群，然后基于这些用户的历史偏好，为当前用户进行推荐。 假设用户A喜欢物品A、物品C，用户B喜欢物品B