深度学习

　　　　在 机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法 中，我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。需要一些简洁的方法。 　　　　本文我们讨论矩阵向量求导链式法则，使用该法则很多时候可以帮我们快速求出导数结果。 　　　　本文的标量对向量的求导，标量对矩阵的求导使用分母布局， 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同，请先确认布局是否一样。 1. 向量对向量求导的链式法则 　　　　首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系，比如三个向量$\mathbf{x} \to \mathbf{y} \to \mathbf{z}$存在依赖关系，则我们有下面的链式求导法则：$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}} = \frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$ 　　　　该法则也可以推广到更多的向量依赖关系。但是要注意的是要求所有有依赖关系的变量都是向量，如果有一个$\mathbf{Y}$是矩阵，，比如是$\mathbf{x} \to

​ TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief 。 Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究 。 TensorFlow由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口（Application Programming Interface, API）。自2015年11月9日起，TensorFlow依据阿帕奇授权协议（Apache 2.0 open source license）开放源代码 。 今天这一份书单，将来介绍几本关于TensorFlow的优质书籍。 TensorFlow系列书单 ​ 走向TensorFlow 2.0：深度学习应用编程快速入门 本书探讨了开源机器学习软件库TensorFlow 2.0的诸多应用实践，内容涵盖各种热门的应用场景，包括图像识别、自然语言对话机器人、基于生成网络的图片风格迁移、文本情感分析等。

个人网页 Gqq's blog 学习必备 福师大教务管理系统 超星慕课 智慧树 中国大学MOOC 博客主题搭建 基于 Hexo 小丁的个人博客 Hexo + Github Page 搭建教程 岛 基于 博客园 SimpleMemory Silence 私人云 飒爽师叔-搭建自己私人网盘-Nextcloud docker + onedrive 电纸书/文献 校内知网 Kindle电纸书 学习强国搜题 写blog必备小工具 去除文本空格 MarkDown数学公式编辑器 软件安装 软件管家 我要Google 永久地址 备用地址1 备用地址2 备用地址3 深度学习 吴恩达课程笔记 网易云课堂吴恩达深度学习 Python中文笔记 极市开发者社区 各种数据集 航拍/无人机视频图像数据集 SRCNN到EDSR端到端超分辨率方法发展历程 Kaggle猫狗大战准确率Top 2%web app项目部署 Pytorch版本问题 壁纸 wallpaperflare pinterest 来源： oschina 链接： https://my.oschina.net/u/4327212/blog/4328232

　　 　　2020全球人工智能技术大会将于7月25-26日登陆杭州未来科技城。除了令人瞩目的大会主旨论坛，同期举行的20场专题论坛嘉宾层次高、主题范围广，聚焦模式识别、脑科学与人工智能等人工智能多个热门领域，内容精彩纷呈，观点将极具创见和现实针对性。 　　脑是人体最复杂的器官，它可以主导人类的一切行为，人类长期以来希望揭开脑的奥秘，但至今仍有大量难题需要破解。7月26日上午，由中国科学院自动化研究所研究员、欧洲科学院外籍院士、IEEE/AIMBE Fellow蒋田仔，中国科学技术大学信息与智能学部部长、教授、IEEE Fellow吴枫担任论坛主席的 脑科学与人工智能专题论坛 将拉开帷幕。脑科学与人工智能从交叉到深度融合，将如何引领新的技术革命？请提前锁定本场专题论坛！ 大会官网 　　扫码访问大会官网，获取最新会议动态 　　加入2020GAITC交流群，了解更多会议精彩内容 论坛主席 　　 　　 蒋田仔 中国科学院自动化研究所研究员 　　 欧洲科学院外籍院士 　　 IEEE/AIMBE Fellow 　　脑网络组研究中心主任，脑网络组北京市重点实验室主任，国家杰出青年基金获得者，长江学者特聘教授，973项目首席科学家。现任IEEE Transactions on Cognitive and Developmental Systems等多种国际刊物编委，北京脑网络组与类脑智能学会理事长

由于GPT-3各种参数应用太强大，以至于深度学习之父Hinton都发推特表示，从GPT-3惊人的性能可以推测，生命、宇宙和万物的答案，只是4万亿个参数而已。 外推排名软【 Q： 3 2 0 1 5 5 4 3 4 1 】 虽然都已经有了这些资料，但文摘菌还是花了很多时间通读了好几篇论文和博客才算是大概明白了 GPT-3的原理。 因此，本文目标非常简单明了： 帮你尽可能详尽地了解GPT-3的架构。 要是你嫌我说得太啰嗦的话（编者：真的啰嗦），也可以直接跳到最后的整体结构图，直接看整体结构。 来源： oschina 链接： https://my.oschina.net/wtpm/blog/4489214

由于GPT-3各种参数应用太强大，以至于深度学习之父Hinton都发推特表示，从GPT-3惊人的性能可以推测，生命、宇宙和万物的答案，只是4万亿个参数而已。 虽然都已经有了这些资料，但文摘菌还是花了很多时间通读了好几篇论文和博客才算是大概明白了 GPT-3的原理。 因此，本文目标非常简单明了： 帮你尽可能详尽地了解GPT-3的架构。 要是你嫌我说得太啰嗦的话（编者：真的啰嗦），也可以直接跳到最后的整体结构图，直接看整体结构。 论文原图 外推排名软 【QQ3201554341】 来源： oschina 链接： https://my.oschina.net/wtpm/blog/4489049

在深度学习模型的训练过程中，一个训练数据的各个维度对最终的结果都会产生不同的影响，这个维度的影响可以用一个具体的数来表示，这篇文章中我称之为“权重”。为了使模型的输出更符合预期的结果，我们需要不断调整权重的大小。调整权重最常用的方法就是梯度下降算法。 我们假设一个数据只有两个维度，即权重w为一个二维向量，权重调节参数b也为一个二维向量。训练的关键在于找到一组(w，b)，使得损失函数loss最小，即使得损失函数L=L(w,b)最小。 一般梯度下降法： 实现梯度下降算法的步骤如下： 随机选取[w,b]的一组初始值; 寻找下一个[w,b]的值[w1,b1]，使得Loss(w1,b1) < Loss(w,b) 重复第二步，直到Loss函数不再下降 计算梯度 （1）损失函数定义如下： 其中zi是xi的预测值： （2）梯度定义： 由此可以计算出L对w和b的偏导数 将最终结果写成代码： class Network(object): def __init__(self, num_of_weights): # 随机产生w的初始值 # 为了保持程序每次运行结果的一致性，此处设置固定的随机数种子 np.random.seed(0) self.w = np.random.randn(num_of_weights, 1) self.b = 0. def forward(self, x): z = np

阿里云ECS云服务器通用型g6和g5的区别以及选择建议 阿里云ECS云服务器通用型g6和通用型g5实例有什么区别?通用型g5和g6都是用于性能均衡场景，CPU内存比都是1:4，本文来说说通用型g6和通用型g5的区别以及选择方法：官方文档： 云服务器ECS共享标准型S6实例 ECS云服务器通用型g6和通用型g5有什么区别? 顾名思义，通用型g6是通用型g5的升级版，ECS云服务器通用型g6是第六代云服务器，性能全面提升的同时价格有所下调，如何选择?云E优站长博客建议选择通用型g6实例。 通用型g6云服务器是阿里云的第六代云服务器，第六代云服务器是基于第二代Intel至强可扩展处理器，睿频从上一代2.7Ghz提升到3.2Ghz，E2E计算性能有3-15%的提升;支持vnni指令集,对于深度学习的推理场景有2-4倍性能提升;虚拟化优化性能抖动，ping flood延时超过1ms的报文数<1/100万。 通用型g6和通用型g5区别对比表 综上，阿里云ECS云服务器通用型g6是通用型g5的升级版，性能有所提升，如何选择?新手站长网还是建议性价比放在第一位，虽然通用型g6是g5的升级版，但是通用型g5的性能也不差，如果通用型g5拥有更优惠的折扣，通用型g5也是可以选择的。 来源： oschina 链接： https://my.oschina.net/u/4416758/blog/4281424

　　腾讯科技讯，钟南山院士团队与腾讯 AI Lab 日前披露了利用 AI 预测 COVID-19 患者病情发展至危重概率的研究成果，可分别预测 5 天、10 天和 30 天内病情危重的概率，有助合理地为病人进行早期分诊。这项研究已在 2020 年 7 月 15 日发布于国际顶级期刊《Nature》子刊《Nature Communications》。 　　这项名为《深度学习在新冠肺炎危重患者早期分诊中的应用》的研究，是钟南山院士团队与腾讯公司共同成立的大数据及人工智能联合实验室的成果之一，第一作者分别是广州呼吸健康研究院院长助理梁文华博士，以及腾讯 AI Lab 医疗中心首席科学家姚建华博士，钟南山院士、广州呼吸健康研究院院长何建行、腾讯 AI Lab 医疗中心负责人黄俊洲均为共同作者。 　　大数据及人工智能联合实验室副主任、腾讯医疗副总裁吴文达医生指出，当前新冠肺炎疫情在全球持续蔓延，高效抗疫、降低患者死亡风险，仍是取得抗疫胜利的关键，希望大数据、人工智能等新技术，以及腾讯海量的用户触达能力，腾讯云安全、快速部署的能力，能够在抗疫常态化中发挥作用，更有效地防控流行病疫情。 　　此项研究基于人工智能深度学习所建立的生存模型，对 COVID-19 患者入院时的 10 项临床特征进行分析，可以帮助预测患者发展至危重病情的风险，如在患者住院期间持续采用此模型进行分析，预测结果会更加准确

​ TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief 。 Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究 。 TensorFlow由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口（Application Programming Interface, API）。自2015年11月9日起，TensorFlow依据阿帕奇授权协议（Apache 2.0 open source license）开放源代码 。 今天这一份书单，将来介绍几本关于TensorFlow的优质书籍。 TensorFlow系列书单 ​ 走向TensorFlow 2.0：深度学习应用编程快速入门 本书探讨了开源机器学习软件库TensorFlow 2.0的诸多应用实践，内容涵盖各种热门的应用场景，包括图像识别、自然语言对话机器人、基于生成网络的图片风格迁移、文本情感分析等。