深度学习

机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则

冷暖自知 提交于 2020-08-10 07:36:10
    在 机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法 中,我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。需要一些简洁的方法。     本文我们讨论矩阵向量求导链式法则,使用该法则很多时候可以帮我们快速求出导数结果。     本文的标量对向量的求导,标量对矩阵的求导使用分母布局, 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。 1. 向量对向量求导的链式法则     首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系,比如三个向量$\mathbf{x} \to \mathbf{y} \to \mathbf{z}$存在依赖关系,则我们有下面的链式求导法则:$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}} = \frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$     该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量,如果有一个$\mathbf{Y}$是矩阵,,比如是$\mathbf{x} \to

机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则

回眸只為那壹抹淺笑 提交于 2020-08-10 07:31:58
    在 机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法 中,我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。需要一些简洁的方法。     本文我们讨论矩阵向量求导链式法则,使用该法则很多时候可以帮我们快速求出导数结果。     本文的标量对向量的求导,标量对矩阵的求导使用分母布局, 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。 1. 向量对向量求导的链式法则     首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系,比如三个向量$\mathbf{x} \to \mathbf{y} \to \mathbf{z}$存在依赖关系,则我们有下面的链式求导法则:$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}} = \frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$     该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量,如果有一个$\mathbf{Y}$是矩阵,,比如是$\mathbf{x} \to

大话深度学习:B站Up主麦叔教你零代码实现图像分类神经网络

梦想的初衷 提交于 2020-08-10 07:29:37
之前,我在B站发布了“大话神经网络,10行代码不调包,听不懂你打我!”的视频后,因为简单易懂受到了很多小伙伴的喜欢! 但也有小伙伴直呼不够过瘾,因为大话神经网络只有4个神经元。 也有小伙伴问不写代码,是否可以做人工智能。应对这两个问题,我录制了新的视频,来实现一套基于CNN的图片分类的神经网络! 华为云视频: https://bbs.huaweicloud.com/videos/102831 在视频中,我们先是运行一套基于tensorflow的代码,让大家体验原汁原味从数据准备,训练,和使用模型的过程。相关的tensorflow代码,资源的下载都可以在我的github上获得: https://github.com/maishucode/tensorflow-image-detection ow-image-detection 然后我会详细讲解如何利用华为云ModelArts,零代码轻松实现一个图片分类网络,并且可以发布出去给你的朋友使用。 看不了视频的也可以看下面的图文教程: 1、在华为云的对象存储服务(OBS)中创建一个桶 选择区域,输入桶名称,其他选项按需调整,这里我们先都用默认值 2、桶创建完后,我们在桶里新建几个文件夹 目录结构如下,train用来放我们的训练数据,out用来放我们的训练结果 maishu └── food-img ├── out └── train 3

可信任的多方计算和验证仿真:一种扩展区块链的方法

与世无争的帅哥 提交于 2020-08-10 05:03:17
名词介绍: 多代理系统:是由多个代理共同合作来组成的。其基本单元是代理,代理可以与其所在环境进行互动(这个我理解有点儿分布式的意思) 存在的问题:代理和代理之间彼此会产生信任问题,例如某些代理是带有恶意的,或者代理的种种原因可能造成不可信的情况。 出发点(意图):为了解决上面的这个问题,保证代理的计算完整性。从而创建了可靠的分布式计算平台。 信任有两种验证方式: Validation:仿真保证单个原子计算的计算过程(原子计算是不可拆分的,本人理解是验证每个局部的计算准确性)(认为是自查) Verfication:这个验证整个仿真过程的完整性。(可以由其他代理来检查) 用到的技术:分布式技术 区块链技术 例子:深度学习的例子。所以这个可以是一个新的出发点,深度学习+区块连+分布式的新结合 来源: oschina 链接: https://my.oschina.net/u/4262079/blog/4479382

LSTM终获「正名」,IEEE 2021神经网络先驱奖授予LSTM提出者

。_饼干妹妹 提交于 2020-08-10 04:50:56
  机器之心报道    参与:杜伟、小舟    或许 Jürgen Schmidhuber 无休止的论战可以告一段落了!   自 2018 年图灵奖授予 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 三位深度学习先驱之后,LSTM 之父 Jürgen Schmidhuber 就此在社交网络上展开了一波又一波的论战,极力肯定和推广长短期记忆网络(LSTM)在人工神经网络和深度学习领域的巨大作用。   如今,LSTM 终于获得了学界的认可。   近日,奥地利人工智能高级研究所(IARAI)宣布其创始人、LSTM 提出者和奠基者 Sepp Hochreiter 教授获得了 IEEE CIS 2021 年神经网络先驱奖(Neural Networks Pioneer Award),以表彰他对长短期记忆网络(LSTM)的发展做出的卓越贡献。   曾获 2016 年神经网络先驱奖的 Jürgen Schmidhuber 也表达了对 Sepp Hochreiter 教授的祝贺。      该奖项开始于 1991 年,由 IEEE 计算智能协会(CIS)每年颁发一次,主要授予那些对神经网络领域的早期概念和持续性发展做出突出贡献的学者。具体而言,该奖项主要表彰以下两种类型的开创性贡献:(1)根本性理解和(2)工程应用。   该奖项被公认为神经网络领域的最高荣誉

ECCV 2020 | 基于对抗一致性,非匹配图像转换效果真假难辨

拜拜、爱过 提交于 2020-08-10 04:21:01
      本 文介绍的 是ECCV 2020 论 文《Unpaired Image-to-Image Translation using Adversarial Consistency Loss》,论文作者来自北大。本论文解读首发于知乎(https://zhuanlan.zhihu.com/p/156092551)。   作者 | Hyperplane PKU   编辑 | 丛 末       论文地址: https://arxiv.org/abs/2003.04858    1    问题引入   在图像处理、图形学和计算机视觉中有大量问题是将一个图片域的图片转换到另一个图片域,比如前一阵刷屏朋友圈的换脸应用。这种问题可以统称为图像到图像转换(image-to-image translation)[1]。目前基于深度学习,特别是生成对抗网络(generative adversarial networks, GANs)[2] 的方法在图像到图像转换中取得了很大的进步。   然而,目前的主流方法有若干局限性,导致不能支持很多应用。其中最大的一个局限性是目前的主流方法基于循环一致性损失(cycle consistency loss,以下简称cycle loss)[2]。Cycle loss 缺陷的主要原因在于其要求转换回来的图片要和原图完全一致(图2右侧 , )

20.表示数值的字符串(剑指 Offer 题解Java版,面试遇到好多次)

时光怂恿深爱的人放手 提交于 2020-08-10 03:49:40
文章目录 题目描述 思路 思路一: 思路二: 题目描述 请实现一个函数用来判断字符串是否表示数值(包括整数和小数)。例如,字符串"+100",“5e2”,"-123",“3.1416"和”-1E-16"都表示数值。但是"12e",“1a3.14”,“1.2.3”,"±5"和"12e+4.3"都不是。 true “+100” “5e2” “-123” “3.1416” “-1E-16” false “12e” “1a3.14” “1.2.3” “±5” “12e+4.3” 思路 思路一: 利用正则表达式,对字符串中的每个字符进行判断分析 package 剑指offer . 表示数值的字符串_20 ; /* 作者 :XiangLin 创建时间 :11/06/2020 16:45 文件 :Solution20.java IDE :IntelliJ IDEA */ /** * 表示数值的字符串 * 请实现一个函数用来判断字符串是否表示数值(包括整数和小数)。例如,字符串"+100","5e2","-123","3.1416"和"-1E-16"都表示数值。 * 但是"12e","1a3.14","1.2.3","+-5"和"12e+4.3"都不是。 */ public class Solution20 { public static void main ( String [ ] args )

可能你还无感:AI正在帮助人类的十大应用

三世轮回 提交于 2020-08-10 01:58:56
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 使用人工智能(AI)技术可以带来很多好处,其中之一就是可以帮助我们从不同的角度看待社会问题。尽管业界对AI技术可能出现的滥用有很多讨论,但我们绝对不能忽视AI应用好的一方面。全球有很多复杂的问题,而AI技术提供了一种宝贵的工具,帮助人们提高能力,为一些棘手的问题找到解决方案。以下,就是人工智能造福社会的十大最佳应用。 癌症筛查 深度学习算法支撑的AI技术,已经被用于医疗保健领域。特别是AI的影像识别能力,有望在癌症识别和筛查方面发挥作用,其中也包括乳腺癌。 AI技术还被用于预测疾病在整个医疗网络中的发展。西奈山(Mount Sinai)医院的一个小组,使用基于深度学习的AI算法,预测疾病的发展,实现了94%的准确度,该项目涉及的疾病包括肝癌、直肠癌和前列腺癌。 借助已经发表的癌症研究、临床试验和药物研发工作,已经有大量的数据可供AI技术使用,帮助它们检查并指导医疗保健决策。 拯救蜜蜂 你知道「世界蜜蜂计划(The World Bee Project)」正在使用人工智能技术来拯救蜜蜂吗? 全球的蜜蜂数量正在下降,这对我们的星球和我们的粮食供应来说是个坏消息。 通过与甲骨文(Oracle)的合作,世界蜜蜂计划希望,学习如何通过蜂巢上的物联网传感器、麦克风和摄像头收集数据

CODING DevOps 系列第六课:IT 运维之智能化告警实践

与世无争的帅哥 提交于 2020-08-10 01:46:09
IT 运维告警现状 目前 IT 运维领域保证服务运行正常的主要方法是对相关运维指标进行实时监控,并根据经验设定一些规则,通过将实时监控的数据与规则进行对比,当某个指标监控值不符合设定的规则时,则判定为异常的状况,这样的话就会发送对应的告警到告警平台。告警平台收到通知后,会分配给对应的运维人员进行处理,运维人员去根据告警信息来排查,最终定位故障的根本原因,并对故障进行修复。从这个流程可以看出,整个过程是以告警为中心,所以告警的质量是至关重要的。 但在实际运维过程中,我们可以发现这个过程中其实存在很多问题。首先,监控系统的规则难以设定。因为规则是基于专家经验设定的,随着系统规模变大,复杂度提高,监控覆盖的完善,监控指标数量指数性增加,指标形态千变万化,基于专家经验的规则设定力不从心,误报率、漏报率居高不下。运维人员可能会遭遇告警风暴,每天被数千个告警轰炸,难以应付。故障发生后,对若干个告警逐一排查找故障根因,效率极低,大大增加故障的恢复时间。故障有可能无法预知,有些本来可以避免的故障还是发生了。 智能化告警的理念和相关技术 为了解决上述问题,在智能运维领域,智能化告警的概念出现了。智能化告警主要解决 4 个问题:一、精准告警,拒绝告警风暴;二、快速故障定位;三、进行故障预测,避免故障发生;四、规则设置自动化,不再通过人工经验来设置规则。 智能异常检测的核心理念是利用机器学习算法

卧槽!秒懂中文文本分类!

淺唱寂寞╮ 提交于 2020-08-10 00:46:23
这是阿三的第 52 期分享 作者 | 阿三 首发 | 程序员遇见GitHub 大家好,我是阿三,今天给大家带来的是一个中文文本分类代码仓库。 一.Chinese-Text-Classification 作者利用了TextCNN,TextRNN,FastText,TextRCNN,BiLSTM_Attention, DPCNN, Transformer的多种模型进行了文本分类,给出了自己利用不同模型的测试效果 对于这个仓库的代码,作者有非常详细的文档,从环境: 采用的数据集: 和每一个模型代码的使用方法 对于想要了解中文文本分类的读者,这个仓库提供了非常全面的资料,赶快学习起来吧。 学习地址: https://github.com/649453932/Chinese-Text-Classification-Pytorch ​ github.com 推荐阅读: 我教你如何读博! 牛逼!轻松高效处理文本数据神器 B站强化学习大结局! 如此神器,得之可得顶会! 兄弟们!神经网络画图,有它不愁啊 太赞了!东北大学朱靖波,肖桐团队开源《机器翻译:统计建模与深度学习方法》 当年毕业答辩!遗憾没有它... 已开源!所有李航老师《统计学习方法》代码实现 这个男人,惊为天人!手推PRML! 它来了!《深度学习》(花书) 数学推导、原理剖析与代码实现 你们心心念念的MIT教授Gilbert