网络模型

本文为Deep compression的论文笔记，相应的ppt及文字讲解 原论文《 Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding 》https://arxiv.org/abs/1510.00149 相关论文 深鉴科技FPGA2017最佳论文ESE Efficient speech recognition engine with sparse LSTM on FPGA论文详解 PipeCNN论文详解：用OpenCL实现FPGA上的大型卷积网络加速 韩松EIE:Efficient Inference Engine on Compressed Deep Neural Network论文详解 韩松博士毕业论文Efficient methods and hardware for deep learning论文详解 目录 一、摘要 意义 方法 作用 二、方法 2.1 剪枝 稀疏矩阵的存储 2.2 权值量化与共享 聚类方法 权值更新方法Fine-tune 意义 压缩率 量化没有降低数据精度 2.3 初始化权重的值 2.4 哈夫曼编码 可压缩性 哈夫曼编码 三、实验 四、结论 Deep compression是一篇关于模型压缩的论文

第十二章 信息系统 12.1 信息管理 信息系统：帮助我们组织和分析数据的软件 三种最流行的一般应用信息系统是电子表格、数据库管理系统和电子商务。 12.2 电子制表软件 电子制表软件：允许用户用单元格组织和分析数据的程序。 单元格：电子数据表中用于存放数据或公式的元素。 可以用行列标号引用电子数据表的单元格，通常用字母指定列，用数字指定列。 12.2.1 电子数据表公式 电子数据表函数：电子制表软件提供的可用于公式的计算函数。 范围：用端点指定的一组连续单元格。 12.2.2 循环引用 循环引用：在计算结果时要错误地彼此依赖的一组公式。 12.2.3 电子数据表分析 我们可以用电子数据表来执行下述任务： 跟踪销售情况 分析运动统计数字 维护学生的成绩单 保存汽车的维修记录 记录和总结旅行开销 跟踪项目活动和日常安排 计划股票购买 模拟假设分析：修改电子数据表中表示假设的值，以观察假设的变化对相关数据有什么影响。 12.3数据库管理系统 数据库：结构化的数据集合 数据库管理系统：由物理数据库、数据库引擎和数据库模式构成的软件和数据的组合 查询：从数据库检索数据的请求 模式：数据库中的数据的逻辑结构的规约 12.3.1 关系模型 关系模型：用表组织数据和数据之间的关系的数据库模型 表：数据库记录的集合 记录（或对象、实体）：构成一个数据库实体的相关的域的集合 域（或属性）

首先说一下这里单独指的是网络IO，我们再这个基础去探讨。 IO，分为两个步骤，第一步是等待数据阶段，数据放入系统内核。第二步是从系统内核复制到内存，这里就可以被应用程序使用了。 先简单抽象一下个人的理解，然后在详细解释一下IO模型的具体细节。 BIO（阻塞IO），在第一步阻塞，第二步阻塞。接收多个请求可以通过多线程来处理，但对资源的耗费过高。 NIO(非阻塞IO),在第一步非阻塞，第二步阻塞。在第一步操作异步也就节省了对线程资源的占用（这一步耗时是较长的），因此对并发的支持大大的提升。 从上图，可以看到第一步孙然非阻塞了,但还需要轮询需要的结果，这时候就会想有没有更好的办法。 多路复用IO（IO multiplexing），使用select() 的事件驱动模型只用单线程（进程）执行，占用资源少，不消耗太多 CPU，同时能够为多客户端提供服务。但这个模型依旧有着很多问题。首先select()接口并不是实现“事件驱动”的最好选择。因为当需要探测的句柄值较大时，select()接口本身需要消耗大量时间去轮询各个句柄。很多操作系统提供了更为高效的接口，如linux提供了epoll，BSD提供了kqueue等。 AIO(异步IO），在第一步、第二步都是非阻塞。目前来说个人感觉使用情景较少暂时不过多介绍。 总结：上面介绍的io模型为概念，和系统级别的，而实际开发阶段有好友框架供使用

一、研究意义 卷积神经网络（CNN）由于其强大的特征提取能力，近年来被广泛用于计算机视觉领域。1998年Yann LeCun等提出的LeNet-5网络结构，该结构使得卷积神经网络可以端到端的训练，并应用于文档识别。LeNet-5结构是CNN最经典的网络结构，而后发展的卷积神经网络结构都是由此版本衍生而来。 在过去六年中，由于深度学习和卷积网络的发展和进步，基于图像的目标检测和分类能力已经大大提高。而目标检测是计算机视觉领域一个重要的研究方向，是众多高级任务的必备前提，包括场景理解，事件识别等。目前，目标检测也广泛用于安全监控，自动驾驶，人机交互，增强现实等众多领域。目标检测对计算机视觉和产业界实际应用都有十分重要的意义。 然而, 由于视角、遮挡、姿态等因素引起目标发生形变, 导致目标检测成为一个具有挑战性的任务。设计高准确率高效率的目标检测算法仍具有重大意义。 二、研究现状 如今, 基于卷积神经网络的目标检测已经超越传统目标检测方法, 成为当前目标检测的主流方法。本文根据卷积神经网络的使用方式，将基于卷积神经网络的目标检测分为两大类: 基于分类的卷积神经网络目标检测和基于回归的卷积神经网络目标检测。 1. 基于分类的卷积神经网络目标检测 基于分类的CNN也可以成为two-stage检测算法，传统目标检测方法包含预处理、窗口滑动、特 征提取、特征选择、特征分类、后处理等步骤

原文地址： https://www.jianshu.com/p/72481d794a6b 大家好，这是专栏 《AI不惑境》 的第二篇文章，讲述模型深度与模型性能的关系。 进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那么到这个阶段，应该跃过了模仿和追随的阶段，进入了创造的阶段。从这个境界开始，讲述的问题可能不再有答案，更多的是激发大家一起来思考。 作者&编辑 | 言有三 深度学习模型之所以在各种任务中取得了成功，足够的网络深度起到了很关键的作用，那么是不是模型越深，性能就越好呢？ 1 为什么加深可以提升性能 Bengio和LeCun在2017年的文章[1]中有这么一句话，"We claim that most functions that can be represented compactly by deep architectures cannot be represented by a compact shallow architecture"，大体意思就是大多数函数如果用一个深层结构刚刚好解决问题，那么就不可能用一个更浅的同样紧凑的结构来解决。 要解决比较复杂的问题，要么增加深度，要么增加宽度，而增加宽度的代价往往远高于深度。 Ronen Eldan等人甚至设计了一个能被小的3层网络表示

Nginx网络模型 一、进程模型 Nginx之所以为广大码农喜爱，除了其高性能外，还有其优雅的系统架构。与 Memcached 的经典多线程模型相比，Nginx是经典的多进程模型。Nginx启动后以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程，具体如下图： 图1 Nginx多进程模型 master进程主要用来管理worker进程，具体包括如下4个主要功能： （1）接收来自外界的信号。 （2）向各worker进程发送信号。 （3）监控woker进程的运行状态。 （4）当woker进程退出后（异常情况下），会自动重新启动新的woker进程。 woker进程主要用来处理网络事件，各个woker进程之间是对等且相互独立的，它们同等竞争来自客户端的请求，一个请求只可能在一个woker进程中处理，woker进程个数一般设置为机器CPU核数。 二、 进程控制 对Nginx进程的控制主要是通过master进程来做到的，主要有两种方式： （1）手动发送信号 从图1可以看出，master接收信号以管理众woker进程，那么，可以通过kill向master进程发送信号，比如kill -HUP pid用以通知Nginx从容重启。所谓从容重启就是不中断服务：master进程在接收到信号后，会先重新加载配置，然后再启动新进程开始接收新请求

原文地址： https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650754422&idx=4&sn=0dc881487f362322a875b4ce06e645f7&chksm=871a8908b06d001ef7386ccc752827c20711877a4a23d6a8318978095dd241d118257c607b22&scene=21#wechat_redirect 深度学习在多个领域中实现成功，如声学、图像和自然语言处理。但是，将深度学习应用于普遍存在的图数据仍然存在问题，这是由于图数据的独特特性。近期，该领域出现大量研究，极大地提升了图分析技术。清华大学朱文武等人综述了应用于图的不同深度学习方法。 他们将现有方法分为三个大类：半监督方法，包括 图神经网络 和图卷积网络；无监督方法，包括图自编码器；近期新的研究方法，包括图循环神经网络和图强化学习。然后按照这些方法的发展史对它们进行系统概述。该研究还分析了这些方法的区别，以及如何合成不同的架构。最后，该研究简单列举了这些方法的应用范围，并讨论了潜在方向。 引言 近十年，深度学习成为人工智能和机器学习这顶皇冠上的明珠，在声学、图像和自然语言处理领域展示了顶尖的性能。深度学习提取数据底层复杂模式的表达能力广受认可。但是，现实世界中普遍存在的图却是个难点

文章目录 轻量级网络 高效的网络构建模块 互补搜索 网络改进 非线性 MobileNetV3-Large网络结构 MobileNetV3-Small网络结构 实验结果 会议：CVPR 2019 标题：《Searching for MobileNetV3》 论文链接： https://arxiv.org/abs/1905.02244?context=cs 代码：感谢github上大佬们开源，开源代码整理如下： （1）PyTorch实现1： https://github.com/xiaolai-sqlai/mobilenetv3 （2）PyTorch实现2： https://github.com/kuan-wang/pytorch-mobilenet-v3 （3）PyTorch实现3： https://github.com/leaderj1001/MobileNetV3-Pytorch （4）Caffe实现： https://github.com/jixing0415/caffe-mobilenet-v3 （5）TensorFLow实现： https://github.com/Bisonai/mobilenetv3-tensorflow 本文仅作为个人学习笔记分享，图片来自于论文，如有侵权，请联系删除。 轻量级网络 从SqueezeNet开始模型的参数量就不断下降

这一个月来一直在研究计算机美学 (photo aesthetic) 的课题，因为有一个需求是帮助用户筛选出一些拍的比较好的图片。这段时间陆陆续续看了很多相关的文章，也一直在思考这个问题：让计算机来对图片进行审美，到底有没有可能？毕竟审美是一件很主观的事情，美的定义本身也不清晰，让需要明确指令的计算机来做一件人类都不明确的事情，这看起来就不太现实。 本文会记录一下我最近看过的一些文章，总结一下这个领域的研究思路，以及我个人的一些想法。 什么是计算机美学 狭义上讲，计算机美学 (photo aesthetic) 的研究内容是教计算机对图片审美，可以是输出一个分数，也可以是对图片分好坏，抑或是其他评价手段均可以。 当然，更广义的讲，凡是涉及到审美相关的领域都可以归结到计算机美学的范畴。从这个角度出发，可以衍生出大量的课题和应用，比如，让计算机扣图、生成一些非常专业的摄影那个图片等等。 题外话，与计算机审美相关的，还有另一个课题叫图像质量评估 (image quality assessment)。我的理解是，计算机美学偏向于主观感受，而图像质量评估则偏向于客观感受 (比如噪声、饱和度等客观因素)。前者由于太过主观，所以评价指标一般是跟数据集中已有的评分进行比较，而后者则有一些客观的评价标准 (如 PSNR ， SSIM )。 下面，我们就根据不同的应用类型

图神经网络（GNN）热度持续上升，之前我们曾介绍了清华两篇综述论文，参见：深度学习时代的图模型，清华发文综述图网络，和清华大学图神经网络综述：模型与应用。最近，IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一篇图神经网络综述文章。这篇文章介绍了 GNN 的背景知识、发展历史、分类与框架、应用等，详细介绍了各种模型与方法，包括公式、模型图示、算法等，希望对大家有所帮助。 引言 深度网络的最新进展推进了模式识别和数据挖掘领域的研究。目标检测、机器翻译、语音识别等许多机器学习任务曾高度依赖手工特征工程来提取信息特征集合，但多种端到端深度学习方式（即卷积神经网络、长短期记忆网络和自编码器）改变了这种状况。深度学习在多个领域的成功主要归功于计算资源的快速发展（如 GPU）、大量训练数据的收集，还有深度学习从欧几里得数据（如图像、文本和视频）中提取潜在表征的有效性。例如 CNN 可以利用平移不变性、局部连通性和图像数据语意合成性，从而提取出与整个数据集共享的局部有意义的特征，用于各种图像分析任务。 尽管深度学习已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据已经取得更广泛的应用，它们需要有效分析。例如，在电子商务领域，一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域，分子被建模为图