深度学习

SRAM是可在任何CMOS工艺中“免费获得”的存储器。自CMOS诞生以来，SRAM一直是任何新CMOS工艺的开发和生产制造的技术驱动力。利用最新的所谓的“深度学习领域专用域结构”（DSA），每个芯片上的 SRAM 数量已达到数百兆位。这导致了两个具体挑战。接下来由专注于代理销售SRAM、SDRAM、MRAM、Flash等存储芯片的宇芯电子介绍关于SRAM两大问题挑战。 第一个挑战是使用FinFET晶体管的最新CMOS技术使单元尺寸的效率越来越低。在图1中可以看到这一点，其中SRAM单元大小是CMOS技术节点的函数。 图1：过去30年中6晶体管SRAM单元尺寸的缩小趋势。一旦FinFET晶体管成为CMOS的基础，请注意减速。 平面到FinFET的过渡对SRAM单元的布局效率有重大影响。使用FinFET逐渐缩小关键节距已导致SRAM单元尺寸的迅速减小。鉴于对更大的片上SRAM容量的需求不断增长，这样做的时机不会更糟。离SRAM将主导DSA处理器大小的局面并不遥远。 第二个挑战是从正电源通过SRAM单元流到地面的泄漏电流。这主要是由于亚阈值晶体管泄漏是指数激活的，这意味着随着芯片温度的升高，泄漏急剧增加。由于它没有做任何有用的工作，因此会浪费能源。尽管通常被称为静态功耗，但这种泄漏也会在SRAM处于活动使用状态时发生，并形成能量浪费的下限。 已经采用了近20年的缓解技术来限制这种影响

18岁不敢做尝试，走着父母铺好的路。 — 被骄傲毁了！ 25岁不肯改，干着每月固定工资的工作。 — 被观念毁了！ 30岁不愿拼搏，日复一日地观望着别人的成与败 。 — 被懒惰毁了！ 40岁如临大敌，羡慕着别人的荣华，嫉妒着别人的身家。 — 被面子毁了！ 50岁追悔莫及，上有老下有小，只能小心翼翼地活着。 — 被顾虑毁了！ 60岁坐在摇椅上想：人的一生，要么讲究，要么将就！ — 一切都晚了！ 很多人不改变，总说我没有这个、没有那个？其实你真正缺乏的就两个字：决定！决定要不要改变现状而已！一切根源在于自己！ ♥精品读物推荐给你 长按二维码，选择“识别图中二维码”订阅 诗曼读书 ID：dushu0407 ▼ 简介： 最好的陪伴，无非就是：第一眼，对你入了心，再接触，就入了情。“诗曼读书” 陪你阅读，伴你成长。 ▲ 长按 上方 二维码识别关注 人事与参考 ID：zhengjingshandongren ▼ 简介： 这是很多体制内朋友都在关注的公众号。它能及时为您提供体制内关心的信息，如 人事信息、机构改革、工资调整 等；它会告诉你体制内生存的技巧和谋略，教你如何处理人际关系，如何获得晋升提拨。欢迎大家关注！ ▲ 长按 上方 二维码识别关注 有养 ID：youyangtv ▼ 简介： 「有养」 由著名央视少儿电视节目主持人 周洲 创办，聚集了 百万粉丝 ，是中国父母教育的倡导者。 养育孩子

此时此刻我想和大家分享一下我在学习linux过程中的一些经验和教训，如果有人能够正好看到我的这篇文章，希望能够让想学习linux的同学多少获得一点经验，少走一些弯路。能够比较简单、快捷的迅速掌握知识是我们学习的目的，但是我们平常的学习中大部分都有一些人在指导。我大学的专业是电气工程及其自动化，平时的课程也涉及不到，所以旁边也没有掌握linux的同学能够一块交流，通过自己这段时间的学习，我觉得有些学习总结可以简单的介绍给大家，供大家在开始业余学习linux的时候能够作为一点参考。 大学时期因为爱好，在老师的实验室待过一段时间，老师经常会有一些软件项目。大多是设计一些B/S系统，涉及到Mysql数据库和常用的ssh，通过一些横向项目，增加同学们的实践经验和实际掌握能力。其中经常主要用到的开发语言不是linux而是java，我开始接触linux也是因为在一个项目中需要用到linux，才开始去了解linux的。一开始也是不知道linux是做什么的、有什么用、在哪用，对linux仅存的认识就是它是一款使用linux语言开发的服务器，类似于我们平常使用的Windows，在linux系统中也可以使用一些我们常用的软件，他也有酷狗音乐、有QQ有浏览器等我们平时的常见软件。后来在了解深度学习的时候，好多框架都是在linux上运行的，开始逐渐的了解到linux的使用范围和与Windows相比具有的优点

Tensorflow中的图（tf.Graph）和会话（tf.Session） Tensorflow编程系统 Tensorflow工具或者说深度学习本身就是一个连贯紧密的系统。一般的系统是一个自治独立的、能实现复杂功能的整体。系统的主要任务是对输入进行处理，以得到想要的输出结果。我们之前见过的很多系统都是线性的，就像汽车生产工厂的流水线一样， 输入->系统处理->输出 。系统内部由很多单一的基本部件构成，这些单一部件具有特定的功能，且需要稳定的特性；系统设计者通过特殊的连接方式，让这些简单部件进行连接，以使它们之间可以进行数据交流和信息互换，来达到相互配合而完成具体工作的目的。 对于任何一个系统来说，都应该拥有稳定、独立、能处理特殊任务的单一部件；且拥有一套良好的内部沟通机制，以让系统可以健康安全的运行。 现实中的很多系统都是线性的，被设计好的、不能进行更改的，比如工厂的流水线,这样的系统并不具备自我调整的能力，无法对外界的环境做出反应，因此也就不具备“智能”。 深度学习（神经网络）之所以具备智能，就是因为它具有 反馈机制 。深度学习具有一套对输出所做的评价函数（损失函数），损失函数在对神经网络做出评价后，会通过某种方式（梯度下降法）更新网络的组成参数，以期望系统得到更好的输出数据。 由此可见，神经网络的系统主要由以下几个方面组成： 输入 系统本身（神经网络结构）

此时此刻我想和大家分享一下我在学习linux过程中的一些经验和教训，如果有人能够正好看到我的这篇文章，希望能够让想学习linux的同学多少获得一点经验，少走一些弯路。能够比较简单、快捷的迅速掌握知识是我们学习的目的，但是我们平常的学习中大部分都有一些人在指导。我大学的专业是电气工程及其自动化，平时的课程也涉及不到，所以旁边也没有掌握linux的同学能够一块交流，通过自己这段时间的学习，我觉得有些学习总结可以简单的介绍给大家，供大家在开始业余学习linux的时候能够作为一点参考。 大学时期因为爱好，在老师的实验室待过一段时间，老师经常会有一些软件项目。大多是设计一些B/S系统，涉及到Mysql数据库和常用的ssh，通过一些横向项目，增加同学们的实践经验和实际掌握能力。其中经常主要用到的开发语言不是linux而是java，我开始接触linux也是因为在一个项目中需要用到linux，才开始去了解linux的。一开始也是不知道linux是做什么的、有什么用、在哪用，对linux仅存的认识就是它是一款使用linux语言开发的服务器，类似于我们平常使用的Windows，在linux系统中也可以使用一些我们常用的软件，他也有酷狗音乐、有QQ有浏览器等我们平时的常见软件。后来在了解深度学习的时候，好多框架都是在linux上运行的，开始逐渐的了解到linux的使用范围和与Windows相比具有的优点

作者|FAIZAN SHAIKH 编译|VK 来源|Analytics Vidhya 介绍 深入学习中最具争议的话题之一是如何解释和理解一个经过训练的模型——特别是在医疗等高风险行业的背景下。“黑匣子”一词经常与深度学习算法联系在一起。如果我们不能解释模型是如何工作的，我们怎么能相信模型的结果呢？这是个合理的问题。 以一个为检测癌症而训练的深度学习模型为例。这个模型告诉你，它99%确定它已经检测到癌症，但它并没有告诉你为什么或者如何做出这个决定。 在核磁共振扫描中找到了重要线索吗？或者只是扫描上的污点被错误地检测为肿瘤？这是病人生死攸关的问题，医生犯了大错后果很严重。 在本文中，我们将探讨如何可视化卷积神经网络（CNN），这是一种深入学习的体系结构，特别用于最先进的基于图像的应用程序。我们将了解可视化CNN模型的重要性，以及可视化它们的方法。我们还将看一个用例，它将帮助你更好地理解这个概念。 目录 CNN模型可视化的重要性 可视化方法 基本方法 绘制模型架构 可视化滤波器 基于激活的方法 最大激活 图像遮挡 基于梯度的方法 显著图 基于梯度的类激活图 CNN模型可视化的重要性 正如我们在上面的癌症肿瘤例子中所看到的，我们知道我们的模型在做什么，以及它如何对预测做出决定，这是绝对重要的。通常，下面列出的原因是一个深度学习实践者要记住的最重要的一点： 了解模型的工作原理 超参数调整

点击上方 “ AI算法与图像处理 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 文 |AI_study 原标题： TensorBoard With PyTorch - Visualize Deep Learning Metrics 在本系列的这一点上，我们刚刚完成了训练过程中的网络运行。现在，我们希望获得有关此过程的更多指标，以更好地了解幕后情况。 鸟瞰我们在训练过程中所处的位置。 准备数据 建立模型 训练模型 分析模型的结果 为此使用TensorBoard TensorBoard：TensorFlow的可视化工具包 TensorBoard提供了机器学习实验所需的可视化和工具： 跟踪和可视化指标，例如损失和准确性 可视化模型图（操作和图层） 查看权重，偏差或其他张量随时间变化的直方图 将embedding 投影到较低维度的空间 显示图像，文本和音频数据 分析TensorFlow程序 以及更多 从PyTorch 1.1.0版开始，PyTorch添加了一个tensorboard实用程序包，使我们能够将TensorBoard与PyTorch一起使用。 print ( torch .__version__ ) 1 .1 .0 from torch.utils.tensorboard import SummaryWriter 为PyTorch安装Tensor Board

自今年年初，由于疫情的原因，为了减少人员聚集，降低病毒扩散的可能性，各大中小学校都陆续开始了网上教学。上网课已经成了家喻户晓的一种学习方式了。 可是你知道吗，在深度学习领域，模型训练也是可以采用网课形式，不用那么震惊，这个真的有！这就是今天要讲的LF AI基金会的EDL项目基于 飞桨 深度学习平台推出的 服务型蒸馏训练方案 ！ ​ 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 什么是蒸馏训练？ 要讲蒸馏训练就要提到知识蒸馏。如今深度学习模型正在往越来越大，网络层越来越深的方向发展。在很多场景下，模型越大，层数越多，模型效果就越好。但受限于推理速度，显存资源等要求，大模型通常无法直接部署，需要对模型进行压缩。 目前主流的压缩方法有裁剪、量化、知识蒸馏等。其中知识蒸馏这一概念是由Hinton等人在2015年发表的《Distilling the Knowledge in a Neural Network》论文中提出的一个黑科技，一种非常经典的模型压缩技术，是将知识从一个复杂模型

人类的大部分知识都以概念和不同概念之间的关系形式存在。如果让机器学习智能， 需要让它能够在数据中发现概念和挖掘关系。虽然机器学习和深度学习发展到今天，特别擅长数据之间的统计相关性，比如通过一组线性和非线性的变化把找到 ， 但是这种发现止于相关性， 而相关性仅仅是世界上大部分关系的冰山一角。 而各种逻辑关系，因果关系，比如物理里的作用力，还是剧本里人情世故的变化，则都超出这个范畴。 离开关系当下机器学习对概念的理解也是有限的， 因为概念的存在依赖于它和其他概念的关系，尤其是整体和部分的关系。例如真正理解某种化学物质是什么，就要理解组成该化学物质的原子和其关系，真理解生命，就要理解生物组成生命的细胞和其关系。 那么当下的任务就很明确了， 我们需要做一个机器学习模型， 不但具备基本的统计拟合能力，还可以进行关系推理，就需要把世界的这种关系本质作为一种先验嵌入到系统里。 我之前总结的让符号主义AI和深度学习融合的文章对整个这一思路框架进行了归纳 许铁-巡洋舰科技：AI的下个十年 ​ zhuanlan.zhihu.com 向这个伟大目标前进的第一步，是图网络。 图网络是当下机器学习的热点，这里我们不是从偏工程的角度，而是从关系学习本身来看图网络， 具体来介绍下面这个文章： Relational inductive biases, deep learning, and graph

阅读了知乎的问答，颇有感触，总结下我的思考与观点。 这是一个很扎心的问题，很多从业者，都面临着这个拷问，当然也包括我。我将尝试从量化投资的整个流程，从理论和经验上去定性分析，出现这个问题的各种原因，避免这些坑，期待实盘与回测尽可能一致。在分析的时候，主要基于实现CTA趋势跟踪策略的视角出发，并且兼顾股票和其他常见的投资策略。 一、猜想与假设 使用趋势跟踪策略的时候，一个基本的猜想就是，我们即将交易的品种是存在趋势的，趋势产生之后，会持续一段时间，才会反转。至于什么是趋势，这是个高深的问题，在以后的系列文章中，将会详细梳理。 如果基于价值投资策略，一个基本的猜想就是，当股票的价格比较低，低于自身的内在价值的时候，股票价格会在一定时间内向内在价值收敛。 如果是基于套利策略，一个基本的猜想就是，一个品种或者多个品种之间的价差会处在一定的合理范围之内，当价差太高的时候，就会下跌，当价差太小的时候，就会升高。 任何量化投资的策略，其实都有一定的猜想与假设，包括那些基于机器学习、深度学习的量化投资策略，只是有些策略基于的猜想与假设，比较直观，符合现有的认知体系，大家容易接受；有些基于的猜想与假设，超出我们的认知范围，是黑匣子，大家没法理解。 坑1、基于黑匣子的猜想与假设的策略，让我们更加怀疑实盘不如回测的表现 我对于是基于经济、金融理论产生的策略还是基于数据驱动产生的策略本身并没有偏见，但是