网络模型

YOLOv3原理 YOLO发展概述 2015 年，R-CNN 横空出世，目标检测 DL 世代大幕拉开。 各路豪杰快速迭代，陆续有了 SPP，fast，faster 版本，至 R-FCN，速度与精度齐飞，区域推荐类网络大放异彩。 奈何，未达实时检测之，难获工业应用之青睐。 此时，凭速度之长，网格类检测异军突起，先有 YOLO，继而 SSD，更是摘实时检测之桂冠，与区域推荐类二分天下。然却时遭世人诟病。 遂有 JR 一鼓作气，并 coco，推 v2，增加输出类别，成就 9000。此后一年，作者隐遁江湖，逍遥 twitter。偶获灵感，终推 v3，横扫武林！ YOLO不断吸收同化对手，进化自己，提升战斗力：YOLOv1 吸收了 SSD 的长处（加了 BN 层，扩大输入维度，使用了 Anchor，训练的时候数据增强），进化到了 YOLOv2； 吸收 DSSD 和 FPN 的长处，仿 ResNet 的 Darknet-53，仿 SqueezeNet 的纵横交叉网络，又进化到 YOLO 第三形态。 但是，我相信这一定不是最终形态。让我们拭目以待吧！ YOLO v1~v3的设计历程 Yolov1 这是继RCNN，fast-RCNN和faster-RCNN之后，rbg（RossGirshick）针对DL目标检测速度问题提出的另外一种框架。YOLO V1其增强版本GPU中能跑45fps

一、 理想模型-OSI 7层模型 那么数据是如何传输的呢？看下图：上层的Header+DATA作为新的Data再次被封装，到达目的地后就像剥洋葱一样掐头(去尾)最终留下你所要传的数据。 各层功能详细阐述请参考链接：https://blog.csdn.net/a369189453/article/details/81193661，这位博友总结的很详细。我简要概括一下： （1）应用层：负责为各种应用程序提供网络服务功能； （2）表示层：负责在数据的传输过程中对数据进行编码/解码、加密/解密以及压缩/解压缩等； （3）会话层：负责对话控制及同步控制。 对话控制是指允许对话以半双工或全双工方式进行； 同步控制是指可以在数据流中加入若干同步点，当传输中断时可以从同步点重传。 （4）传输层：负责将上层数据分段并提供端到端的传输。这里提到的端到端的传输是指从进程到进程的传输。 （5）网络层：负责提供逻辑地址及IP地址，使数据从远端发送到目的端； （6）数据链路层：负责设备的MAC地址，同时决定数据通信的机制和差错控制； （7）物理层：负责二进制信号在物理线路上的传输。物理层定义了实际的机械规范和电子数据比特流，包括电压大小、电压的变动和代表“0”和“1”的电平定义。 二、实际应用网络模型-TCP/IP模型 1.OSI七层和TCP/IP四层的关系 1）OSI引进了服务、接口、协议、分层的概念

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/program_developer/article/details/80737724 “微信公众号” 本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/3nKXlu3jy-0sNgAHxaxGmQ 本文同步更新在我的知乎专栏里，地址：https://zhuanlan.zhihu.com/p/38200980 1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。 过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个很大的问题，不仅训练多个模型费时，测试多个模型也是很费时。 综上所述，训练深度神经网络的时候，总是会遇到两大缺点： （1）容易过拟合 （2）费时 Dropout可以比较有效的缓解过拟合的发生

今天研究了一下k8s的网络模型，该解析基于flannel vxlan+ kubeproxy iptables 模式。 一.Docker 首先分析一下Docker层面的网络模型，我们知道容器是基于内核的namespace机制去实现资源的隔离的。network是众多namespace中的一个，那么如何保证一个节点上容器之间的通信呢？Docker的做法是通过虚拟网桥来桥接虚拟网卡。下面具体解释一下。 首先每一个容器在默认情况下都是在自己的network namespace里面的，也就是说默认情况下它只有一个自己独立的localhost网络(或者是什么网络设备也没有？TBD)，无法与外部进行通信。为了解决这个问题，Docker创建了一对veth pair, 这个veth pair总是承兑出现，可以理解为一对端口，所有从一头进去的数据都会从另一头出来。然后docker 会把这对veth pair的一头加入到容器的namespace中，另一头桥接到一个虚拟网桥上， 这个虚拟网桥实际上就是宿主机上的docker0网卡，我们可以通过以下指令来观察： [wlh@meizu storage]$ brctl show bridge name bridge id STP enabled interfaces docker0 8000.02422551422b no veth43dc241 　　　　　　　　

　　VGG卷积神经网络模型解析 　　一：VGG介绍与模型结构 　　VGG全称是Visual Geometry Group属于牛津大学科学工程系，其发布了一些列以VGG开头的卷积网络模型，可以应用在人脸识别、图像分类等方面，分别从VGG16～VGG19。VGG研究卷积网络深度的初衷是想搞清楚卷积网络深度是如何影响大规模图像分类与识别的精度和准确率的，最初是VGG-16号称非常深的卷积网络全称为(GG-Very-Deep-16 CNN)，VGG在加深网络层数同时为了避免参数过多，在所有层都采用3x3的小卷积核，卷积层步长被设置为1。VGG的输入被设置为224x244大小的RGB图像，在训练集图像上对所有图像计算RGB均值，然后把图像作为输入传入VGG卷积网络，使用3x3或者1x1的filter，卷积步长被固定1。VGG全连接层有3层，根据卷积层+全连接层总数目的不同可以从VGG11 ～ VGG19，最少的VGG11有8个卷积层与3个全连接层，最多的VGG19有16个卷积层+3个全连接层，此外VGG网络并不是在每个卷积层后面跟上一个池化层，还是总数5个池化层，分布在不同的卷积层之下，下图是VGG11 ～GVV19的结构图： 　　 　　考虑到整个网络的精简结构显示，ReLU激活函数并没有被显示在上述结构中。上述结构中一些说明： 　　conv表示卷积层 　　FC表示全连接层 　

网络名称空间的使用 net namespaces是6个名称空间中的一个，可用于隔离网络设备和服务，只有拥有同样网络名称空间的设备猜能看到彼此。而构造一个网络名称空间只需要用到ip netns及ip link相关的子命令即可，下面是一些简单用法。 ip netns add n1 #添加一个网络名称空间 ip netns add n2 ip netns list #查看当前的网络名称空间 ip link add name veth1.1 t ype veth peer name veth1.2 #创建一对虚拟网卡 ip link show #查看当前的网络接口 ip link set dev veth1.1 netns n1 #将veth1.1接到n1名称空间中,同样的方式设置veth1.2 ip netns exec n1 ip link set dev veth1.1 name eth0 #将n1名称空间的veth1.1命名为eth0 ip netns exec n1 ifconfig eth0 10.0.0.1/24 up #设置n1名称空间中的网络地址并激活使用 ip netns exec n2 ifconfig eth0 10.0.0.2/24 up ip netns exec n2 ping 10.0.0.1 #测试两个名称空间的网络 docker的四种网络模型

Non-local Neural Networks基于non-local means的思想捕获远程依赖，提高了视频分类和图片分类的分类精度。 Motivation 捕获远程依赖性在深度神经网络中至关重要。对于序列数据，捕获远程依赖的主要方法是循环操作（循环网络）。对于图片数据，捕获远程依赖的方法是使用一叠卷积层来获取大的接收域。卷积和循环操作都是处理局部的邻近区域（local neighborhood），不管是空间上还是时间上。因此，捕获远程依赖的唯一方法是不断重复卷积或循环操作，把远程依赖纳入到局部依赖中。重复这些局部操作有3点局限性，第一，计算效率不高；第二，引起优化困难；第三，当信息需要在远距离位置来回传递时，多跳模型难以实现。 例如，上图的卷积区域的人脸与卷积区域之外的手脚有依赖关系，需要经过多层卷积层之后才能捕获到这种远程依赖。 在一个短视频中，男孩在玩足球，其中一帧图片中的足球与多帧图片的足球和男孩都有关系，上图每两张图片之间的间隔是8帧。R-CNN只能在相邻两帧图片之间传递依赖关系，想要传递远程依赖，只能多循环几次。 如果模型能直接捕获到这种远程依赖，模型的性能会更好，同时提高运行效率。 Innovation 作者从经典的图像处理算法non-local means中得到启发，提出了non-local操作和non-local块。 non-local means

CNN正在革新几个应用领域，如视觉识别系统、自动驾驶汽车、医学发现、创新电子商务等。需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进、有效和高效的CNN模型。 深度卷积网络DCNN是目前十分流行的深度神经网络架构，它的构造清晰直观，效果引人入胜，在图像、视频、语音、语言领域都有广泛应用。 深度学习，特别是深度卷积神经网络是人工智能的重要分支领域，卷积神经网络技术也被广泛应用于各种现实场景，在许多问题上都取得了超越人类智能的结果。 《卷积神经网络的Python实现》作为深度学习领域的入门读物，假定读者的机器学习知识为零，并尽可能少地使用数学知识，从机器学习的概念讲起，以卷积神经网络的最新发展结束。首先简单介绍了机器学习的基本概念，详细讲解了线性模型、神经网络和卷积神经网络模型，然后介绍了基于梯度下降法的优化方法和梯度反向传播算法，接着介绍了训练网络前的准备工作、神经网络及卷积神经网络实战和卷积神经网络的发展。针对每个关键知识点，给出了基于 NumPy 的代码实现以及完整的神经网络和卷积神经网络代码实现，方便读者训练网络和查阅代码。既可以作为卷积神经网络的教材，也可以供对卷积神经网络感兴趣的工程技术人员和科研人员参考。 卷积神经网络是深度学习最重要的模型之一。 《卷积神经网络的Python实现》PDF，232页，带书签目录，文字可以复制；配套源代码。作者: 单建华

文章目录 一 监督学习 1 classification分类 （1） Binary Decision Tree(BDT)二分决策树 （2） Naive Bayesian Classifier朴素贝叶斯分类器 （3） Neural Network(NN)神经网络 （4）Convolution NN(CNN)卷积神经网络 （5）Deep Belief Networks(DBN)深度信念网络 （6）Recurrent NN(RNN)深度循环神经网络 2 regression回归 （1）LinearRegression线性回归： （2）树回归： 二 强化学习 1 Q-learning 2 Deep Q Networks 3 Double Q-learning 4 Prioritized experience replay 三 无监督学习 1 Dimensionality Reduction降维 （1）Stacked Auto-Encoders(SAE)栈式自编码 （2）Local Linear Embedding局部线性嵌入 2 Clustering聚类 （1）聚类算法简介 （2）聚类算法分类 （3）KMeans算法 （4）层次聚类（hierarchical clustering） （5） DBSCAN（基于密度的聚类算法） 3 Density Estimation密度估计 一 监督学习

第一部分 TCP/IP 基础知识 TCP/IP分层及各层主要协议 数据链路层： SLIP 、 PPP 网络层： IP 、 ARP 、 RARP 、 ICMP 传输层： TCP 、 UDP 应用层： FTP 、 TELNET 、 SMTP 、 HTTP 、 TFTP ===================== 这部分与 宇航出版社 的《 Microsoft Windows NT4.0 环境下的 TCP/IP 网络互联》中的 第一、二章（除 ARP 外） 对应 首先我们这门课是 TCP/IP 在 Windows NT 中的应用，并不完全讲 TCP/IP 协议，所以有一些 TCP/IP 理论方面的知识并没有涉及到。在讲 TCP/IP 在 Windows NT 中的应用时，我们先回顾一下，在网络基础中讲到的网络的 OSI 模型，假如有同学从 TCP ／ IP 学起，此处作一个铺垫。 第一课 OSI 模型 (open system interface) OSI 模型最初是用来作为开发 网络通信协议族 的一个 工业参考标准 。通过严格遵守 OSI 模型， 不同的网络技术 之间可以轻易地实现互操作。 应用层 Application Layer 表示层 Present Layer 会话层 Semission Layer 传输层 Transport Layer 网络层 Internet Layer