网络模型

原文链接：https://blog.csdn.net/u010552731/article/details/89501819 1. TensorRT 的 C++ API 使用示例 进行推理，需要先创建IExecutionContext对象，要创建这个对象，就需要先创建一个ICudaEngine的对象（engine）。 两种创建engine的方式： 使用模型文件创建engine，并可把创建的engine序列化后存储到硬盘以便后面直接使用； 使用之前已经序列化存储的engine，这种方式比较高效些，因为解析模型并生成engine还是挺慢的。 无论哪种方式，都需要创建一个全局的iLogger对象，并被用来作为很多TensorRT API方法的参数使用。如下是一个logger创建示例： class Logger : public ILogger { void log(Severity severity, const char* msg) override { // suppress info-level messages if (severity != Severity::kINFO) std::cout << msg << std::endl; } } gLogger; 2. 用 C++ API 创建TensorRT网络 2.1. 使用 C++ 的 parser API 导入模型 1.

整理下最近一篇论文的学习笔记。这是由UIUC的陈晨和Intel Labs的陈启峰、许佳、Vladlen Koltun 合作提出的一种在黑暗中也能快速、清晰的成像系统，让机器“看破”黑暗。以下是论文的主要部分。 摘要 在暗光条件下，受到低信噪比和低亮度的影响，图片的质量会受到很大的影响。此外，低曝光率的照片会出现很多噪声，而长曝光时间会让照片变得模糊、不真实。目前，很多关于去噪、去模糊、图像增强等技术的研究已被相继提出，但是在一些极端条件下，这些技术的作用就很有限了。为了发展基于学习的低亮度图像处理技术，本文提出了一种在黑暗中也能快速、清晰的成像系统，效果令人非常惊讶。此外，我们引入了一个数据集，包含有原始的低曝光率、低亮度图片，同时还有对应的长曝光率图像。利用该数据集，提出了一种端到端训练模式的全卷积网络结构，用于处理低亮度图像。该网络直接使用原始传感器数据，并替代了大量的传统图像处理流程。最终，实验结果表明这种网络结构在新数据集上能够表现出出色的性能，并在未来工作中有很大前途。 简介 任何的图像成像系统都存在噪声，但这很大地影响在弱光条件下图像的质量。高ISO 可以用于增加亮度，但它同时也会放大噪音。诸如缩放或直方图拉伸等图像后处理可以缓解这种噪声影响，但这并不能从根本上解决低信噪比 (SNR) 问题。在物理学上，这可以解释为在弱光条件下增加SNR，包括开放光圈

从LeNet 到AlexNet 到VGGNet LeNet LeNet是第一个真正意义上的卷积神经网络模型，LeNet5在识别手写数字中取得了非常好的成绩 结构：3个卷积层，2个池化层，2个全连接层。卷积层的卷积核都为5*5，stride-1，池化层都为Maxpooling，激活函数都为sigmoid AlexNet 网络比LeNet更深，结构包括五个卷积层和3个全连接层 使用ReLu激活函数，收敛速度很快，克服了sigmoid函数在网络较深时出现的梯度发散现象 加入Dropout层，防止过拟合 使用了归一化层，增强了模型的泛化性能 使用了裁剪翻转等操作做数据增强 分块训练 VGGNet 增加了网络的深度，证明了使用更小的卷积核且增加网络的深度可以有效改变模型的性能。 参考资料：“有三AI”公众号 来源： https://blog.csdn.net/qq_40330604/article/details/100806490

CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training 摘要 我们提出了一个变分生成对抗网络，一个包含了与生成对抗网络结合的变分子编码器，用于合成细粒度类别的图像，比如具体某个人的脸或者某个类别的目标。我们的方法构建一张图片作为概率模型中的一个标签成分和潜在属性。通过调整输入结果生成模型的细粒度类别标签，我们能够通过随机绘制潜在属性向量中的值来生成指定类别的图像。我们方法的创新点在于两个方面： 首先是我们提出了在判别器和分类器网络中使用交叉熵损失，对于生成器网络则使用平均差异目标函数。这种不对称损失函数能够使得训练出来的GAN网络更稳定。 其次是我们使用了encoder网络去学习潜在空间和真实图片空间中的关系，并使用成对的特性去保持生成图像的结构。 我们使用人脸、花和鸟的自然图片来训练，并说明了提出的模型有能力去生成有着细粒度类别标签的真实且不同的样本。我们进一步将展示我们的模型应用于其他任务的效果，如图像修复、高分辨率以及用于训练更好的人脸识别模型的数据增强。 1. Introduction 构建自然图像的有效的生成模型是计算机视觉中的主要问题。它目标是根据潜在的自然图像分布来调整一些潜在向量来生成不同的真实图片。因此，期望的生成模型是能够捕获钱在的数据分布。这可以说是一个很难的任务

最近做一些关于Faster R-CNN、SSD和YOLO模型选择和优化的项目，之前只了解Faster R-CNN系列目标检测方法，于是抽空梳理一下这几个检测模型。先上两张简单的精确度和运算量的对比图，有个粗略的了解，虽然图中缺了YOLO，参考价值仍然很大： 下面开始分别详述吧~ Faster R-CNN架构 传统目标检测方法大致分为如下三步： 深度学习特别是CNN的出现使得上述第二三步可以合并在一起做。Faster R-CNN步骤： （1）由输入图片产生的区域候选 （2）最后一层卷积输出的所有通道 （2）最后一层卷积输出的所有通道 pooling=> + （3）ROI pooling 候选区的产生 RPN的核心思想是使用卷积神经网络直接产生region proposal，使用的方法本质上就是滑动窗口。RPN的设计比较巧妙，RPN只需在最后的卷积层上滑动一遍，因为anchor机制和边框回归可以得到多尺度、多长宽比的region proposal，3*3滑窗对应的每个特征区域同时预测输入图像3种尺度（128,256,512），3种长宽比（1:1,1:2,2:1）的region proposal，这种映射的机制称为anchor： RPN 利用基网络对图像用一系列的卷积和池化操作进行特征提取，得到原始的feature maps（灰色区域），然后在原始的feature

1、层级 1-1、OSI分层模型是七层 1-2、TCP/IP分层模型是四层 大学学习的是五层网络模型（应用层、传输层、网络层、数据链路层、物理层），而书籍已明确说明了为方便教学而设计 2、七层网络模型 从高到低分别是应用层、表示层、会话层、传输层、网络层、数据链路层、物理层。现实生活并没有采用这个模型，但具有一些参考意义，不作为详细了解，实际应用中而是采用TCP/IP模型。 3、TCP/IP四层模型 从高到低分别是应用层、传输层、网络层、链路层 3-1、链路层 协作IP数据在已有网络介质传输 协议：ARP、RARP 3-2、传输层 负责端到端的通信服务 协议：TCP、UDP 3-3、网络层 负责数据的包装、寻址和路由 协议：IP协议、ICMP协议（因特网控制报文协议） 3-4、应用层 结合接口号，处理应用程序通信细节 协议：FTP（文件传输协议）、HTTP（超文本传输协议）、SMTP（邮件传输协议）、DNS等 总结： 来源： https://blog.csdn.net/qq_39228454/article/details/100526548

神经网络模型量化方法简介 https://chenrudan.github.io/blog/2018/10/02/networkquantization.html 2018-10-02 本文主要梳理了模型量化算法的一些文章，阐述了每篇文章主要的内核思想和量化过程，整理了一些对这些文章的分析和看法。 【转载请注明出处】 chenrudan.github.io 随着神经网络算法的发展，网络性能虽然越来越强大，但是也耗费了太多的计算资源和内存，为了得到更有效率的网络以及能部署在移动端，近几年神经网络的压缩算法成了一个研究热点，主要的网络压缩途径有五种，量化、剪枝、低秩分解、教师-学生网络、轻量化网络设计，量化就是将以往用32bit或者64bit表达的浮点数用1bit、2bit占用较少内存空间的形式进行存储。剪枝的目的是为了去掉一些不重要的神经元、连接、通道等，低秩分解主要是通过各种分解方法用精简的张量来表达复杂张量，教师-学生网络间接通过提升小网络性能来压缩学生网络的规模，一般可以与其他压缩方法同时使用，轻量化网络设计主要是类似MobileNet这种设计的非常精简但性能又好的网络。几种方法都各有特点，都是值得研究和讨论的，本文主要针对量化算法近几年的发展做一个梳理和归纳，我觉得量化算法有几个特点， 理论简单，公式少，性能稳定且trick多。 下图1

本文的出发点是一篇期刊论文，但集中探讨的是这篇文章中 不确定度估计的原理与过程 ，行文将与之前的文献报告不同。 原文 Bhattacharyya A , Fritz M , Schiele B . Long-Term On-Board Prediction of People in Traffic Scenes under Uncertainty[J]. 2017. 原文的一篇重要引用文献 Kendall A , Gal Y . What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?[J]. 2017. 关键词与基础概念 ： 车载视角、行人框预测、认知不确定性、偶然不确定性、采样、伯努利分布与dropout变分推断、蒙特卡洛积分、贝叶斯定理与贝叶斯推断、贝叶斯网络 近日在阅读“Long-Term On-Board Prediction of People in Traffic Scenes Under Uncertainty”，文章所提出的模型功能是基于车载移动视角对行人框位置做出预测，并能够同时评估两类不确定度（模型不确定度，数据不确定度）。 对神经网络的不确定度估计 涉及较多概率论的知识，而且从理论到应用的转化也涉及到使用近似量估计的问题，因此初次接触这部分知识该我带来了不小的挑战

什么是生成对抗网络？生成式对抗网络（ GAN , Generative Adversarial Networks ）是一种 深度学习 模型，是近年来复杂分布上 无监督学习 最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（ Generative Model ）和判别模型（ Discriminative Model ）的互相 博弈 学习产生相当好的输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。一个优秀的 GAN 应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。 一个典型的生成对抗网络模型大概长这个样子： 我们先来理解下 GAN 的两个模型要做什么。 首先判别模型，就是图中右半部分的网络，直观来看就是一个简单的神经网络结构，输入就是一副图像，输出就是一个概率值，用于判断真假使用（概率值大于 0.5 那就是真，小于 0.5 那就是假），真假也不过是人们定义的概率而已。 其次是生成模型，生成模型要做什么呢，同样也可以看成是一个神经网络模型，输入是一组随机数 Z ，输出是一个图像，不再是一个数值而已。从图中可以看到，会存在两个数据集，一个是真实数据集，这好说，另一个是假的数据集，那这个数据集就是有生成网络造出来的数据集

OSI模型 OSI（open system interconnected，OS）参考模型是一个开放式体系结构，它规定将网络分为七层，从 下往上依次是物理层，数据链路层，网络层，传输层，会话层，表示层和应用层。 1.物理层（physical layer）的主要功能:是完成相邻节点之间原始比特流的传输物理层的设计主要涉及物理接口的机械电气功能和过程特性，以及物理层接口连接的传输介质等问题。 2.数据链路层（data link layer）:负责将上层数据封装成固定格式的帧 3.网络层(network layer）的主要功能:是实现数据从源端到目的端的传输 4.传输层（transport layer）的主要功能:是实现网络中不同主机上用户进程之间的数据通信。 传输层要决定对会话层用户（最终的网络用户）提供什么样的服务。因此我们把1-3层的协议称为点对点的协议，而把4-7层的协议叫做端对端协议 5 .会话层（session layer）:允许不同机器上的用户之间建立会话关系。管理会话控制令牌管理（token management）数据中插入同步点 6 .表示层（presentation layer ）:表示层以下各层只关心从源端机到目标机可靠地传输比特，而表示层关心的是所传输的语法和语义。用一种大家一致选定的标准方法对数据进行编码。同时，也能提供压缩解压、加密解密。 7 . 应用层