网络模型

网络按照覆盖范围可分为局域网（LAN）、城域网（MAN）和广域网（WAN）。 OSI参考模型将整个网络的通信功能分为七层，由低到高分别是：物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。 严格对等层通信，对等层相同协议。 网络层地址是由网络地址和主机地址两部分地址组成的，网络地址是全局唯一的。 来源： https://www.cnblogs.com/wdn135468/p/11937298.html

1.背景介绍 在高方差时段（如节假日和体育赛事等等）准确的预测交通量，对于异常检测、资源分配、预算规划和其他相关的任务都是至关重要，这些任务有助于网约车大规模优化用户体验，然而，预测这些变量极具挑战性，因为这种极端事件预测取决于天气、城市人口增长和其他导致预测不确定性的外部因素。 近几年来，长短期记忆网络技术以其端到端建模，易于映入外生变量和自动特征抽取的特点，成为了一种流行的时间序列建模框架。LSTM方法利用多个维度的大量数据，可以对复杂的非线性特征相互作用进行建模，这对于预测极端事件是至关重要的。 在Lingxue Zhu和Nikolay Laptev发表在IEEE的一篇论文 Deep and Confident Prediction for Time Series at Uber 中，介绍一种新的端到端贝叶斯神经网络（BNN）结构，它能在大规模的情况下更精准地预测时间序列结果和不确定性预测。 2.概述 2.1不确定性预测 首先，我们用函数 来表示一个神经网络，其中f表示是网络的结构，用** W **来表示模型参数的集合。在BNN模型中，引入了权重参数的先验，并且模型的目标是去拟合最优的后验分布。比如，高斯先验通常假设： 。 然后，我们进一步数据生成分布定为 。在回归问题中，我们通常假设： （其中具有一定的噪声 ）。 接着，给定N个观测值 和

近年来，深度学习体系结构由于在计算机视觉等应用中的极大成功而开始流行起来。特别是卷积神经网络(CNN)已经成为深度学习中最重要的一种网络结构。学习计算机视觉中的深度学习、设计和部署CNN，以及深度计算机视觉体系结构的基础知识。 从零基础开始，系统阐述卷积神经网络理论基础及其实践应用，可以帮助快速学习和构建深度学习系统。提供了丰富的理论知识和实操案例，以及一系列完备的工具包，以帮助获得在理解和构建卷积神经网络（CNN）时所必要的基本信息。重点将集中在卷积神经网络的基础部分，而不会涉及在高级课程中才出现的一些概念（CNN相关话题）。 推荐参考《卷积神经网络与视觉计算》中文PDF，174页，带目录，文字可复制；英文PDF，187页，带目录，文字可复制。 下载: https://pan.baidu.com/s/1OeT4YJdcWQYxHJxwG6Idmg 提取码: 6tar 分为5章，介绍了图像表示和一些计算机视觉模型，这些模型现在被称为人工方式建模。提供了对图像表示的基本理解，并介绍了一些线性和非线性的特征提取或表示方法，以及这些表示的特性。介绍了一些基本图像元素(如边缘)的检测方法，还包括用这些表示来完成一些基本的机器学习任务。 CNN正在革新几个应用领域，如视觉识别系统、自动驾驶汽车、医学发现、创新电子商务等。需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进

目前，在对抗攻击防御上存在三个主要方向： 1）在学习过程中 修改训练过程 或者 修改的输入样本 。 2） 修改网络 ，比如：添加更多层/子网络、改变损失/激活函数等。 3）当分类 未见过的样本时，用外部模型作为附加网络 。 第一个方法没有直接处理学习模型。另一方面，另外两个分类是更加关心神经网络本身的。 这些方法可以被进一步细分为两种类型：（a）完全防御；（b）仅探测（detection only）。 「完全防御」方法的目标是让网络将对抗样本识别为正确的类别。 另一方面，「仅探测」方法意味着在对抗样本上发出报警以拒绝任何进一步的处理。 详细的分类在图 9 中展示了。剩下的章节是按这个分类来整理的。 图 9：防御对抗攻击的方法分类。 6.1 修改训练过程/ 输入数据 1 蛮力对抗训练 通过 不断输入新类型的对抗样本并执行对抗训练 ，从而不断提升网络的鲁棒性。为了保证有效性，该方法需要使用 高强度的对抗样本 ，并且 网络架构要有充足的表达能力 。这种方法需要大量的训练数据，因而被称为蛮力对抗训练。很多文献中提到这种 蛮力的对抗训练可以正则化网络以减少过拟合 [23,90]。然而，Moosavi-Dezfooli[16] 指出，无论添加多少对抗样本，都存在新的对抗攻击样本可以再次欺骗网络。 2 数据压缩 注意到大多数训练图像都是 JPG 格式，Dziugaite[123] 等人使用

CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。 注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。 一、卷积只能在同一组进行吗？-- Group convolution Group convolution 分组卷积，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 alexnet 分组卷积的思想影响比较深远，当前一些轻量级的SOTA（State Of The Art）网络，都用到了分组卷积的操作，以节省计算量。但题主有个疑问是，如果分组卷积是分在不同GPU上的话，每个GPU的计算量就降低到 1/groups，但如果依然在同一个GPU上计算，最终整体的计算量是否不变？找了pytorch上有关组卷积操作的介绍，望读者解答我的疑问。 pytroch github EDIT： 关于这个问题，知乎用户朋友 @蔡冠羽 提出了他的见解： 我感觉group

一、Mysql5.7的新增功能 1、支持JSON，是一种可以替代XML的存储信息格式，从5.7.8版本开始支持 2、改进InnoDB的可扩展性和临时表的性能，从而实现更快的网络和大数据加载等操作 3、改进赋值包括多源复制、多从线程增强、在线GTIDs和增强的半同步复制 4、增加了许多新的监控功能，以减少空间和过载，使用新的SYS模式显著提高易用性 5、以安全第一为宗旨，提供了很多新的功能，从而保证数据库的安全 6、重写了大部分解释器、优化器和成本模型，提高了可维护性、可扩展性和性能 6、全新功能，包括InnoDB空间索引，使用Boost.Geometry，同时提高完整性和标准符合性 二、Excel访问Mysql 1、安装 来源： https://www.cnblogs.com/cloud-sj/p/11335508.html

普通的深度学习监督算法主要是用来做分类，如图1(1)所示，分类的目标是要识别出图中所示是一只猫。而在ILSVRC（ImageNet Large Scale Visual Recognition Challenge)竞赛以及实际的应用中，还包括目标定位和目标检测等任务。其中目标定位是不仅仅要识别出来是什么物体（即分类），而且还要预测物体的位置，位置一般用边框（bounding box）标记，如图1(2)所示。而目标检测实质是多目标的定位，即要在图片中定位多个目标物体，包括分类和定位。比如对图1(3)进行目标检测，得到的结果是好几只不同动物，他们的位置如图3中不同颜色的框所示。 (1)目标分类 (2)目标定位 (3)目标检测 图1 目标分类、定位、检测示例 简单来说，分类、定位和检测的区别如下： 分类：是什么？ 定位：在哪里？是什么？（单个目标） 检测：在哪里？分别是什么？（多个目标） 目标检测对于人类来说并不困难，通过对图片中不同颜色模块的感知很容易定位并分类出其中目标物体，但对于计算机来说，面对的是RGB像素矩阵，很难从图像中直接得到狗和猫这样的抽象概念并定位其位置，再加上有时候多个物体和杂乱的背景混杂在一起，目标检测更加困难。但这难不倒科学家们，在传统视觉领域，目标检测就是一个非常热门的研究方向，一些特定目标的检测，比如人脸检测和行人检测已经有非常成熟的技术了

简介：　　 　　前面学到的网络比如CNN、RNN这些都是基于有监督式的学习，训练模型时我们需要输入样本和对应的label，给定损失函数，利用网络来学习数据的模式和特征。那么我们就不禁提出一个想法，有没有一种网络，对于给定的输入，且输入的数据无指定label，通过一个网络对这些数据进行学习，自动得出损失函数，从而学习数据的分布呢？答案肯定是有的，这就是16年非常火热的无监督式的学习下的生成对抗GAN网络,被一些学者认为是20年来机器学习领域最酷的想法。本文只是记录对该网络的个人理解，仅供个人学习和参考。 论文： Generative Adversarial Net(2014) GAN论文集合： 这里 GAN代码集合： 这里 GAN的基本概念： 　　GAN的思想是一种二人零和博弈思想（two-player game），博弈双方的利益之和是一个常数，比如两个人掰手腕，假设总的空间是一定的，你的力气大一点，那你就得到的空间多一点，相应的我的空间就少一点，相反我力气大我就得到的多一点，但有一点是确定的就是，我们两人的总空间是一定的，这就是二人博弈，但是呢总利益是一定的。引申到GAN里面就是可以看成，GAN中有两个这样的博弈者，一个是生成模型（G），一个是判别模型（D），他们各自有各自的功能。 生成模型(伪装者角色)：在GAN网络中生成器扮演伪装者角色，我希望生成的数据伪装度特别高

　　生成对抗网络（GAN），是深度学习模型之一，2014年lan Goodfellow的开篇之作 Generative Adversarial Network ， GAN概述 　　GAN包括两个模型，一个是 生成模型 （generative model），一个是 判别模型 （discriminative model）。生成模型要做的事情就是生成看起来真的和原始数据相似的实例，判断模型就是判断给定的实例是生成的还是真实的（真实实例来源于数据集，伪造实例来源于生成模型）。 　　生成器试图欺骗判别器，判别器则努力不被生成器欺骗。两个模型经过交替优化训练，互相提升 图1-1 GAN网络整体示意图 　　如上图所示，我们有两个网络，生成网络G（Generayor）和判别网络D（Discriminator）。生成网络接收一个（符合简单分布如高斯分布或者均匀分布的）随机噪声输入，通过这个噪声输出图片，记做G(z)。判别网络的输入是x，x代表一张图片，输出D(x)代表x为真实图片的概率。 GAN模型优化训练 目的 ：将一个随机高斯噪声z通过一个生成网络G得到一个和真实数据分布\({p_{data}}(x)\)差不多的生成数据分布\({p_G}(x;\theta )\)，其中的参数\(\theta \)是网络参数决定的，我们希望找到\(\theta \)使得\({p_G}(x;\theta )\)和\

图像识别和自然语言处理是目前应用极为广泛的AI技术，这些技术不管是速度还是准确度都已经达到了相当的高度，具体应用例如智能手机的人脸解锁、内置的语音助手。这些技术的实现和发展都离不开神经网络，可是传统的神经网络只能解决关于辨识的问题，并不能够为机器带来自主创造的能力，例如让机器写出一篇流畅的新闻报道，生成一副美丽的风景画。但随着GAN的出现，这些都成为了可能。 什么是GAN？ 生成式对抗网络（GAN, Generative Adversarial Networks）是一种近年来大热的深度学习模型，该模型由两个基础神经网络即生成器神经网络（Generator Neural Network）和判别器神经网络（Discriminator Neural Network）所组成，其中一个用于生成内容，另一个则用于判别生成的内容。 GAN受博弈论中的零和博弈启发，将生成问题视作判别器和生成器这两个网络的对抗和博弈：生成器从给定噪声中（一般是指均匀分布或者正态分布）产生合成数据，判别器分辨生成器的的输出和真实数据。前者试图产生更接近真实的数据，相应地，后者试图更完美地分辨真实数据与生成数据。由此，两个网络在对抗中进步，在进步后继续对抗，由生成式网络得的数据也就越来越完美，逼近真实数据，从而可以生成想要得到的数据（图片、序列、视频等）。 发展历史 GAN最早是由Ian J.