神经网络

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 自动送货车撞上玻璃、扫地机器人撞碎玻璃伤行人……如今这些事件也即将成为过去式。 大连理工大学等单位研发了一个玻璃检测神经网络，能够利用AI在真实环境下检测玻璃。 △ 图左为目标场景，图右黄色部分为玻璃检测 从图中可见，神经网络能很好地将玻璃从实际场景中分割出来。 但事实上，玻璃检测绝非想象中那般简单，不仅因为它几乎是透明的，而且还具有反射性。 更何况，玻璃并没有固定的形状，无法根据外形判定某一区域是否存在玻璃。 既然如此，为什么人眼能这么准确地判定出玻璃的存在呢？ 全新的神经网络GDNet 研究发现，人眼不仅能通过玻璃内外部颜色的差异来判断玻璃的存在，还能根据反射产生的光斑或重影发现玻璃。 这给了研究者们很大的启发，并最终设计了名为大视场上下文特征融合（Large-field Contextual Feature Integration ，下简称LCFI）的模块。 △ LCFI模块构造 LCFI模块用来同时提取高级语义特征和颜色纹理等低级特征两种上下文特征，用于检测真实场景中玻璃的存在。 为了提取大量上下文信息，通常的做法是采用大卷积核或进行扩张卷积，但前者会导致大计算量，后者则会稀疏采样。 而且，这两种方法并非最优。 △ 实验对比效果 研究发现，采用非局部运算（non

最近在学习机器学习，看到了这份笔记，介绍的非常详细，记录一下作为学习。 作者 梁劲（Jim Liang） ，来自 SAP （全球第一大商业软件公司）。 书籍特点 条理清晰，含图像化表示更加易懂，对公式有详细的注解等。 内容概要 主要分为基本概念、常用算法和其他三部分。 为什么会这样？ 首当其冲就是数学，涉及统计学、微积分、概率、线性代数等，大家虽然都学过高等数学，但如果你还记得里面的细节，算你牛。更可能的情况是，多数人都对高等数学忘记了，面对各种算法里的大量公式，感到厌恶，甚至恐惧。 其次因为机器学习本身是一个综合性学科，而且是一个快速发展的学科，知识点散乱，缺乏系统性。 市面上的机器学习/深度学习书籍、文章、教程，遍地开花，但能以清晰的方式表达、循序渐进地讲解的教程，其实不多，大量的教程没有考虑到学习者的基础，使得初学者感到挫败和困惑。 正是对机器学习的过程中的痛苦有切身体会，作者Jim Liang希望能做一份教程，以浅显易懂的方式去讲解它，降低大家的学习门槛。为此花费了数月时间，经常做到深夜，把自己的学习笔记整理成了这份教程。 Part 1 介绍了基本概念，包括： 机器学习的流程 数据处理 建模 评估指标（如 MSE、ROC 曲线） 模型部署 过度拟合 正则化等 在第一部分，作者先介绍了如今应用普遍的机器学习：从自动驾驶、语音助手到机器人。其中有些思想，也是众多读者们了解过的

https://blog.csdn.net/weixin_41466947/article/details/85343589 Attacks for classification Box-constrained L-BFGS Fast Gradient Sign Method (FGSM) Basic & Least-Likely-Class Iterative Methods Jacobian-based Saliency Map Attack (JSMA) One Pixel Attack Carlini and Wagner Attacks (C&W) DeepFool Universal Adversarial Perturbations UPSET and ANGRI Houdini Adversarial Transformation Networks (ATNs) 1 2 3 4 5 6 7 8 9 10 11 Attacks beyond classification/recognition Attacks on Autoencoders and Generative Models Attack on Recurrent Neural Networks Attacks on Deep Reinforcement Learning Attacks on

这是一份来自 DeepMind 研究员、图注意力网络一作 Petar Veličković 的演讲，他为我们介绍了图表征学习在算法推理领域的研究进展。Veličković 指出，算法推理是图表征学习的一个令人激动的新领域，他希望自己的这次演讲能够吸引更多的人了解或关注这个领域，为该领域的研究贡献一份力量。 机器之心整理，演讲者：Petar Veličković，整理：Racoon、张倩。 前段时间，图注意力网络（GAT）一作 Petar Veličković 在 Twitter 上晒出了自己的 博士论文 ——《The resurgence of structure in deep neural networks》。在那篇论文中，他汇总了自己近年来在图神经网络领域的研究，包括 GAT、Deep Graph Infomax 等重要工作。 其实，在此之前，Petar Veličković 还在 WWW'20 上做过一个时长为 48 分钟的演讲。这个演讲的主题是，如何利用目前图表征学习的最新研究来支撑并增强算法推理类型的任务，同时讨论从长远来看这对神经网络框架会带来哪些益处。这个演讲和 Veličković 的博士论文互为补充，可以帮你了解更多关于图神经网络的内容。 演讲 PPT 链接： https:// petar-v.com/talks/Algo- WWW.pdf 在

Siamese方法通过提取当前帧的模板特征来定位下一帧的目标位置的方法来解决目标跟踪问题。一般来说，模板是前面图像帧的线性组合，导致随着时间的增加模板信息会有一个指数衰减。虽然这种更新方法已经提升了结果，但是它的简单性限制了通过学习更新可能获得的潜在效果。作者提出了用学习更新模板的方式来替代手工更新模板的方式。作者提出了一种叫UpdateNet的卷积神经网络方式，用之前积累的模板和当前帧的模板来生成一个下一帧可以用的最优模板。UpdateNet可以很容易地融合到现有的Siamese网络中。 Standard update 最近的跟踪方法无论是相关滤波的方法还是基于Siamese网络的方法都是用指数加权平均来更新模板，如下面公式所示： 这种方法虽然可以集成新的信息，但是它有严重缺点。 Learning to update 文章用新的学习更新策略来代替传统的更新策略，更新模板的公式如下所示： ​ 函数参数包括初始帧模板，上一帧模板和上次计算出的模板，目的就是通过学习这样一个函数来实现更新模板的功能，整体的示意图如下图所示： ​Tracking framework with UpdateNet 向上面的图所呈现的那样，通过训练得到UpdateNet的参数，将始帧模板，上一帧模板和上次计算出的模板输入到这个网络中得到新的模板，然后用新的模板进行相似性计算，得到分数图。 Training

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 文 | 特约观察员 顾夏辉 安涛 编辑 | 刘子晴 人工智能落地现状 2020年人工智能依然是一个非常热的话题。中美的科技巨头以及很多跨国企业都把人工智能作为其战略发展的重要布局，国家层面也出台政策重点发展人工智能产业。2019年，中国人工智能专利申请量排行世界第一，累计申请量44万余件，中国已超过美国成为人工智能领域专利申请量最高的国家。 但是与公众关注和各方支持的力度相比，人工智能技术的落地速度并没有达到人们的预期。目前人工智能集中于新零售、智能制造、智慧农业、医疗健康、智慧城市、营销和教育等产业，超过50%的赋能实体为安防。预计到2022年，人工智能赋能实体经济仅能达1600亿。对于40万亿的市场而言，人工智能还远远没有落地。 如何才能加快人工智能的落地速度？在这个问题之前，首先要明确人工智能技术是否重要、重要到什么程度。 人工智能带给我们的是什么？ 一句话，科技带给人类发展的核心是对资源的优化。 蒸汽机的出现，使机器代替了手工劳动，一部分人从重复劳动解放出来，转为管理、运营和科研工作；电力的出现，推动企业间竞争的加剧，促进生产和资本的集中，产生了垄断；互联网的出现，使得人们节省大量获得信息的资源，整合企业的管理和策略工作。 如果人类想继续进行对资源和成本优化

Word2Vec简明教程 1. 特征向量 2. 词向量 2.1 例1：King- Man + Woman = Queen 2.2 例2：跨语言同义词共现 3. NNLM 4. Word2Vec 4.1 SkipGram （1）基本概念 （2）数据模型 4.2 CBoW 4.3 Negative Sampling 4.4 Hierarchical Softmax 5. 使用gensim 1. 特征向量 近年来，研究者通过词汇学方法，发现约有五种特质可以涵盖人格描述的所有方面，提出了人格的 大五模式（Big Five） ，俗称人格的海洋（OCEAN），包括以下五个维度： 开放性（Openness）：具有想象、审美、情感丰富、求异、创造、智能等特质。 责任心（Conscientiousness）：显示胜任、公正、条理、尽职、成就、自律、谨慎、克制等特点。 外倾性（Extroversion）：表现出热情、社交、果断、活跃、冒险、乐观等特质。 宜人性（Agreeableness）：具有信任、利他、直率、依从、谦虚、移情等特质。 神经质性（Neuroticism）：难以平衡焦虑、敌对、压抑、自我意识、冲动、脆弱等情绪的特质，即不具有保持情绪稳定的能力。 通过NEO-PI-R测试可以得出每个维度的打分（1-100），然后将其缩放到 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ]

目录 KL 散度 JS 散度 (Jensen-Shannon) Wasserstein 距离 KL 散度 KL散度 又称为 相对熵 ，信息散度，信息增益。KL 散度是是两个概率分布 和 差别 的非对称性的度量。 KL 散度是用来 度量使用基于 的编码来编码来自 的样本平均所需的额外的位元数 。 典型情况下， 表示数据的真实分布， 表示数据的理论分布、模型分布，或 的近似分布。 定义如下： 因为对数函数是凸函数，所以KL散度的值为非负数。 KL 散度并不满足距离的性质： KL 散度不是对称的 即 。具体详细解释，可参考博客： https://www.jiqizhixin.com/articles/0224。 KL 散度不满足三角不等式。 关于这点，我暂时没有搜到相关博客。希望知道的大牛可以指点一下。 JS 散度 (Jensen-Shannon) 为了解决了 KL 散度非对称的问题，基于 KL 散度的变体， JS 散度 度量了两个概率分布的相似度。一般地，JS 散度是对称的，其取值是 0 到 1 之间。定义如下： 虽然 JS 散度可以对称，但有一个致命问题： 如果两个分配 离得很远，完全没有重叠的时候，那么 KL 散度值是没有意义的，而 JS 散度值是一个常数。这就意味这这一点的梯度为 0。梯度消失了。下图是证明过程。 为什么会出现两个分布没有重叠的现象？ 上面几张图来自： https

香浓信息量 这里以连续随机变量的情况为例。设 为随机变量X的概率分布，即 为随机变量 在 处的概率密度函数值，随机变量 在 处的香农信息量定义为： 这时香农信息量的单位为比特，香农信息量用于刻画 消除随机变量在处的不确定性所需的信息量的大小 。 如果非连续型随机变量，则为某一具体随机事件的概率。 为什么是这么一个表达式呢？想具体了解的可以参考如下的讨论： 知乎-香农的信息论究竟牛在哪里？ 香农信息量_weixinhum-CSDN博客 信息熵 由香农信息量可以知，对于一个已知概率的事件，需要多少的数据量能完整地把它表达清楚。 信息熵则刻画的是，对于整个系统而言，表达系统整体所需要的信息量。比如，dddLdddYdddXddd 这段字母，虽然 L、Y 和 X 的香农信息量比较大，但他们出现的次数明显要比 d 少很多，因此需要信息熵来评估整体系统的信息量。 信息熵=事件香农信息量×事件概率 对于连续随机变量，信息熵 可表示为： 对于离散随机变量，信息熵 可表示为： 注意： 前面在说明的时候 log 是以 2 为底的，但是一般情况下在神经网络中，默认以指数 为底，这样算出来的香农信息量虽然不是最小的可用于完整表示事件的比特数，但对于信息熵的含义来说是区别不大的。其实只要这个底数是大于 1 的，都能用来表达信息熵的大小。 举例如下： zbbbb 的信息熵为： zrcdf 的信息熵为：

tensorflow是什么 tensorflow计算模型-计算图 2.1计算图的概念 2.2计算图的使用 tensorflow数据模型-张量 3.1张量的概念 3.2张量的使用 tensorflow运行模型-会话 tensorflow实现神经网络 第一个CNN网络 6.1CNN算法原理 6.2CNN是干什么的 6.3tensorflow实现CNN 6.4CNN模型发展 第一个RNN网络 7.1RNN算法原理 7.2RNN是干什么的 7.3tensorflow实现RNN 7.4RNN模型发展及变体 3、优化器如何选择 目前TensorFlow支持11种不同的经典优化器（参考TensorFlow API tf.train文档） tf.train.Optimizer tf.train.GradientDescentOptimizer tf.train.AdadeltaOptimizer tf.train.AdagtadOptimizer tf.train.AdagradDAOptimizer tf.train.MomentumOptimizer tf.train.AdamOptimizer tf.train.FtrlOptimizer tf.train.ProximalGradientDescentOptimizer tf.train.ProximalAdagradOptimizer