网络模型

文章正文部分参考博客： https://blog.csdn.net/batflo_wsh/article/details/89330195 论文地址： https://arxiv.org/pdf/1612.00593.pdf Supplementary A.Overview 该文件为主要论文提供了额外的定量结果，技术细节和更多定性的测试示例。 在Sec B中，我们扩展了健壮性测试，以比较不完整输入上的PointNet和VoxNet。 在Sec C中，我们提供了有关神经网络架构，训练参数的更多详细信息，在Sec D中，我们描述了场景中的检测流程。 然后，Sec E显示了PointNet的更多应用，而Sec F显示了更多的分析实验。Sec G为我们在PointNet上的理论提供了证明。 最后，我们在Sec H中显示了更多的可视化结果。 B. Comparison between PointNet and VoxNet (Sec 5.2) 我们扩展了第5.2节“鲁棒性测试”中的实验，以比较PointNet和VoxNet [17]（代表体积的代表性体系结构）输入点云中丢失的数据的鲁棒性。两个网络都在相同的训练测试段上进行训练，输入的点数为1024。对于VoxNet，我们将点云体素化为32×32×32的占用栅格，并通过围绕上轴的随机旋转和抖动来增强训练数据。 在测试时

同VAE模型类似，GAN模型也包含了一对子模型。GAN的名字中包含一个对抗的概念，为了体现对抗这个概念，除了生成模型，其中还有另外一个模型帮助生成模型更好地学习观测数据的条件分布。这个模型可以称作判别模型D，它的输入是数据空间内的任意一张图像x，输出是一个概率值，表示这张图像属于真实数据的概率。对于生成模型G来说，它的输入是一个随机变量z，z服从某种分布，输出是一张图像G(z)，如果它生成的图像经过模型D后的概率值很高，就说明生成模型已经比较好地掌握了数据的分布模式，可以产生符合要求的样本；反之则没有达到要求，还需要继续训练。 两个模型的目标如下所示。 判别模型的目标是最大化这个公式：Ex[D(x)]，也就是甄别出哪些图是真实数据分布中的。 生成模型的目标是最大化这个公式：Ez[D(G(z))]，也就是让自己生成的图被判别模型判断为来自真实数据分布。 看上去两个模型目标联系并不大，下面就要增加两个模型的联系，如果生成模型生成的图像和真实的图像有区别，判别模型要给它判定比较低的概率。这里可以举个形象的例子，x好比是一种商品，D是商品的检验方，负责检验商品是否是正品；G是一家山寨公司，希望根据拿到手的一批产品x研究出生产山寨商品x的方式。对于D来说，不管G生产出来的商品多像正品，都应该被判定为赝品，更何况一开始G的技术水品不高，生产出来的产品必然是漏洞百出，所以被判定为赝品也不算冤枉

Deep Learning on Point Sets for 3D Classification and Segmentation https://github.com/charlesq34/pointnet PointNet 摘要(Abstract) 点云是一种非常重要的几何数据结构类型。因为它的格式不规则，许多的研究人员通常会将点云数据转换为规则的3D体素网格或者图像集合。然而，这会造成大量的不必要的数据，并且很容易带来问题。在本文中，我们设计了一个直接以点云为输入的神经网络模型，这一模型很好的遵循了输入点的排列不变性。我们的网络模型叫做PointNet，它提供了一种从目标分类、零件分割到场景语义分析的通用模型结构。虽然它很简单，但PointNet非常高效而且有效。从经验上讲，它的效果甚至超过了目前最先进的水平。我们从理论上分析了PointNet学到了什么和为什么PointNet在输入有所干扰和损坏时有很强的鲁棒性。 1.引言(Introduction) 在本文中，我们探讨了能够处理点云或者网格等3D几何数据的深度学习结构。通常，为了实现权重共享和内核优化，卷积结构对输入数据的格式有非常高的要求。由于点云或网格的格式不规则，大多数研究人员通常在将这些数据输入到深度网络之前，会将其转换为规则的3D体素网格或图像集合（如视图）。然而，这种数据表示转换会导致大量不必要的数据

目录 Linux多线程服务器端编程 线程安全的对象生命期管理 对象的销毁线程比较难 线程同步精要 借shared_ptr实现写时拷贝(copy-on-write) 多线程服务器的适用场合与常用编程模型 单线程服务器的常用编程模型 多线程服务器的常用编程模型 分布式系统中使用TCP长连接通信 C++多线程系统编程精要 高效的多线程日志 日志功能的需求 多线程异步日志 muduo网络库简介 TCP网络编程最本质的是处理三个半事件: 在一个端口上提供服务，并且要发挥多核处理器的计算能力 muduo编程示例 一种自动反射消息类型的Google Protobuf网络传输方案 短址服务 muduo库设计与实现 分布式系统工程实践 C++编译链接模型精要 Linux多线程服务器端编程 源码链接 。 muduo的编译安装 . 陈硕的编译教程 。 bazel编译文件不能有中文路径。 安装到指定目录: /usrdata/usingdata/studying-coding/server-development/server-muduo/build/release-install-cpp11/lib/libmuduo_base.a. 这本书前前后后看了三四遍，写得非常有深度，值得推荐。 编译和安装 . 线程安全的对象生命期管理 利用shared_ptr和weak_ptr避免对象析构时存在的竞争条件

论文原址: https://arxiv.org/abs/1707.02921 代码: https://github.com/LimBee/NTIRE2017 摘要 以DNN进行超分辨的研究比较流行,其中，残差学习较大的提高了性能。本文提出了增强的深度超分辨网络（EDST）其性能超过了当前超分辨最好的模型。本文模型性能的大幅度提升主要是移除卷积网络中不重要的模块进行优化得到的。本文模型可以在固定训练步骤的同时，进一步扩大模型的尺寸来提升模型性能。本文同时提出了一个多尺寸超分辨系统(MDSR)及训练方法，该模型可以根据不同的放大稀疏构建高分辨率的图片。 介绍 单图像超分辨方法(SISR）主要是将低分辨率的单张图片 重构为高分辨率的图像 ，一般，低分辨率的图片 ，与原始的高分辨率图像 二者之间具有较强的条件限制。许多研究假定 为 的二三次采样得到的结果。在实际生活中，也可以考虑其他降级因素，比如，模糊，抽取或者噪声等等。 最近，深度网络改进超分辨中信噪比的峰值（PSNR）该值越大越好，参考 https://www.jiqizhixin.com/articles/2017-11-06-8 ，然而，这些模型存在一些结构限制,首先，网络模型重建性能对结构的微小变化较为敏感，即相同的模型，通过不同的初始化及训练方法可以得到不同层次的性能。因此，在训练网络时，需要精心设计结构及较为固定的优化方法。

网络I/O管理---五种I/O模型 网络I/O会涉及到到三个系统对象：一个是用户空间调用 I/O的进程或者线程；一个是内核空间的内核系统；最后一个是IO device. 整个请求过程为： 用户进程/线程发起请求； 内核接受到请求后，从I/O设备中获取数据到内核buffer中； 再将内核buffer中的数据copy_to_user到用户进程的地址空间； 在整个请求过程中， 数据输入到内核buffer需要时间 ， 从内核buffer复制到进程也需要时间 。因此根据这两段时间内等待方式的不同，I/O分为以下 5 种模式： （1）阻塞IO（blocking IO） （2）非阻塞IO（Non-blocking IO） （3）IO复用（IO mutiplexing） （4）信号驱动的IO（signal driven IO) （5）异步IO（asynchrnous IO） 一、阻塞IO（blocking IO） 在linux中，默认情况下所有的socket都是 blocking，一个典型的读操作流程如下： 例如当用户进程调用了 read 系统调用， kernel 就开始了 IO操作的 准备数据阶段。对于网络 IO来说，很多时候数据在一开始还没到达（比如，还没收到一个完整的数据包）， 这时候kernel就需要等待足够的数据到来。用户空间这边，整个用户进程处于阻塞状态。

Aggregated Residual Transformations for Deep Neural Networks----2017ResNext Abstract 我们提出了一种用于图像分类的简单， 高度模块化 的网络体系结构。我们的网络是通过 重复构建模块 来构建的，该模块聚合具有相同拓扑的一组转换。我们的简单设计导致了同类的多分支架构，仅需设置几个超参数。 此策略提供了一个新维度，我们将其称为“基数”（转换集的大小），它是深度和宽度维度之外的一个重要因素。 在ImageNet-1K数据集上，我们根据经验表明，即使在保持复杂性的限制条件下， 增加基数也可以提高分类精度 。此外，当我们增加容量时，增加基数比深入或更广泛更有效。我们的模型名为 ResNeXt ，是我们进入2016年ILSVRC分类任务的基础，我们获得了第二名。我们进一步在ImageNet-5K集和COCO检测集上对ResNeXt进行了研究，其结果也比ResNet同类要好。该代码和模型可以在线公开获得1。 1.Introduction 视觉识别的研究正在经历从“功能工程”到“网络工程”的转变[25、24、44、34、36、38、14]。与传统的手工设计特征（例如，SIFT [29]和HOG [5]）相反，神经网络从大规模数据中学习的特征[33]在训练过程中所需的人力最少，并且可以转移到各种识别任务中[7，10

本文参考并引用了部分腾讯游戏学院的相关技术文章内容，感谢原作者的分享。 1、前言 以现在主流的即时通讯应用形态来讲，一个完整的即时通讯IM应用其实是即时通信（英文简写：IM=Instant messaging）和实时通信（英文简写：RTC=Real-time communication）2种技术组合在一起的一整套网络通信系统。之所以以IM这个简写代称整个即时通讯软件，其实是历史原因了（因为早期的诸如ICQ这样的即时通讯工具，也就是文字聊天，并没有加入实时音视频这样的实时通信技术），对这个话题有兴趣的可以到网上查一查IM的发展历史。 以微信、QQ这样的完整即时通讯应用来说，回归到工具的本质，它主要包含了两种应用和技术： 1）广义的文字聊天：也就是我最常理解的各种聊天消息的传递，这部分的技术实现就是众所周之的IM通信（即Instant messaging）； 2）实时音视频聊天：包括语音电话、视频聊天，这部分的技术实现，从网络通信的角度讲，就是实时通信（即Real-time communication）。 我们回忆一下：早几年前市面上主流的移动端IM——比如微信、QQ、以及现在满屏广告的网易易信、半死不活的小米米聊、已经入土的阿里来往、打擦边球的陌陌等，基本都没有或者很晚才加入实时音视频聊天功能（我们抛开技术因素之外的原因不议），原因不是不想做

第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 1 1.2 什么是神经网络？(What is a Neural Network) 1.3 神经网络的监督学习(Supervised Learning with Neural Networks) 1.4 为什么神经网络会流行？(Why is Deep Learning taking off?) 1.5 关于本课程(About this Course) 1.6 课程资源(Course Resources) 1.7 Geoffery Hinton 专访(Geoffery Hinton interview) 第二周：神经网络的编程基础(Basics of Neural Network programming) 2.1 二分类(Binary Classification) 2.2 逻辑回归(Logistic Regression) 2.3 逻辑回归的代价函数（Logistic Regression Cost Function） 2.4 梯度下降（Gradient Descent） 2.5 导数（Derivatives） 2.6 更多的导数例子（More Derivative Examples） 2.7 计算图（Computation Graph） 2.8 计算图导数

本篇文章思路比较简单，作者认为，One-shot Learning只检测与query image相似的目标，是一种有条件的检测任务，适合引入贝叶斯条件概率理论。 网络的大致模型： (a) 表示以前做One-shot conditional detection任务的常用做法，采用selective windows设计一个固定的metric 方法；(b)表示LSTD的做法，对RPN和分类器都采用features来做fine-tune；(c)OSCD的思想是，改变RPN为条件RPN，bbx和分类都是条件生成 这种做法，作者认为有三个好处： class agnostic 只计算原图和query image的相似性，并不关心query image的类别； training-free 在测试阶段不需要更新网络参数 overcome forgetting 由于是metric learning，所以训练后的参数是固定的 网络的具体模型： 先采用一个Siamese network进行特征采样，然后将两个特征融合输入C-RPN中计算ROI的相似度和bbox，再把相似的regoin用作C-Classifier做相似度计算和bbox计算 用于复现的话，可以看下面连个伪代码： 来源： CSDN 作者： bryce1010 链接： https://blog.csdn.net/Fire_to_cheat_