网络模型

PixelNet: Representation of the pixels, by the pixels, and for the pixels. 图1.我们的框架通过对架构（最后一层）和训练过程（历元）的微小修改，将其应用于三个不同的像素预测问题。 请注意，我们的方法为分割（左），表面法线估计（中）和边缘检测（右）的语义边界恢复精细的细节。 Abstract 我们探索了一般像素级预测问题的设计原理，从低级边缘检测到中级表面法线估计到高级语义分割。诸如全卷积网络（FCN）之类的卷积预测因子通过通过卷积处理利用相邻像素的空间冗余而获得了非凡的成功。尽管计算效率高，但我们指出，由于 空间冗余限制了从相邻像素学习的信息 ，因此这些方法在学习过程中在统计上并不是有效的。 我们证明了像素的分层采样可以使（1）在批量更新过程中增加多样性，从而加快学习速度； （2）探索复杂的非线性预测因子，提高准确性； （3）有效地训练最先进的模型tabula rasa（即“从头开始”）以完成各种像素标记任务。 我们的单一体系结构可为PASCAL-Context数据集上的语义分割，NYUDv2深度数据集上的表面法线估计以及BSDS上的边缘检测提供最新结果。 1.Introduction 许多计算机视觉问题可以表述为密集的逐像素预测问题。 其中包括边缘检测[21、64、94]和光流[5、30、86]等低级任务

网络七层模型 https://blog.csdn.net/a369189453/article/details/81193661 网络七层协议的通俗理解 https://www.cnblogs.com/evan51/p/7994109.html TCP/IP协议（一）网络基础知识 网络七层协议 https://www.cnblogs.com/mike-mei/p/8548238.html 最近又看到这个七层模型了，一直都记不住这个七层模型，就算背住了也很快忘记。主要原因还是因为没有真实的使用场景，也没能理解其中的原理。但是这个东西是计算机网络的基础，既然碰巧看到就顺便整理一下吧。很多知识的梳理都是通过文章来理解贯通的，所以在计算机开发中对于技术的应用对敲代码；对于抽象的知识多写文章，自然而然的就懂了。 关于七层模型的介绍 七层模型，也称为OSI（Open System Interconnection）参考模型，是国际标准化组织（ISO）制定的一个用于计算机或通讯系统间互联的标准体系。它是一个七层的、抽象的模型体，不仅包括一系列抽象的术语或概念，也包括具体的协议。 ISO 就是 Internationalization Standard Organization（国际标准组织）。 起源 看一下OSI的起源和出现过程还是挺有意思的。 OSI的大部分设计工作实际上只是Honeywell

目录 1.术语解释 2.体系结构原则 3.互联网的组成 3.1核心部分 3.1.1数据交换 3.1.2复用技术 3.1.3虚电路与数据报 3.1.4端到端论点 3.1.5差错控制和流量控制 3.2边缘部分 3.2.1网络应用的设计 4.设计与实现 4.1分层 4.2复用，分解，封装 4.3OSI模型与TCP/IP模型对照 5.标准化进程 6.与Internet体系结构相关的攻击 1.术语解释 协议族： 一系列相关协议的集合 协议族的体系结构或参考模型： 指定一个协议族中的各种协议之间的相互关系并划分需要完成的任务的设计 因特网（Internet）： 因特网是一个拥有遍布全球的大约20亿用户（2010年，占全球人口的30%）的广域网 2.体系结构原则 Internet体系结构在几个目标的指导下建立。首要目标是“发展一种重复利用已有的互联网的技术”。其本质即，Internet体系结构应该将多种网络互联起来，并在互联的网络上同时运行多个应用。 基于这个首要目标，Clark提供了以下二级目标列表： Internet通信在网络或网关失效时必须能持续。 Internet必须支持多种类型的通信服务。 Internet体系结构必须兼容多种网络。 Internet体系结构必须允许对其资源的分布式管理。 Internet体系结构必须是经济有效的。 Internet体系结构必须允许低能力主机的连接。

编者按：本文来自微信公众号“L先生说”（ID：lxianshengmiao），作者Lachel。 以前写过不少跟学习相关的文章，但大都是集中于某个点，欠缺系统性。 今天，我想通过这篇详细的文章，把「学习」这个问题，简单梳理一下。 当然，这是一个巨大的话题，难免挂一漏万。以后有机会，再慢慢补充，形成一整个关于学习的系列。 希望能够帮到你。 框架 不少读者朋友问过我「刚刚入门一个领域，什么都不懂，怎么学？」我的回答永远都是一样的： 一定要先从搭框架开始。 什么叫搭框架呢？简而言之，就是给你的大脑一个铺垫，让它准备好，告诉它：在未来的日子里，我们将会大量吸收这个领域的知识，请做好理解和储存它们的准备。 举个例子：当你撰写一份策划方案、报告时，你第一步是不是先有一个整体构思，列一个大纲：我先写什么，然后写什么，最后写什么 —— 接下去才开始动手？ 学习也是一样的。如果缺少了框架，你所有获取的知识，就只是碎片信息而已。它们会孤零零地漂浮在记忆里，难以稳固存在，也难以被你所调用、组织、整合。 那么，如何搭建框架，令我们的学习更加体系化呢？ 我建议的方法，是去搜寻这个领域相关的经典教材，大约3-5本。然后读一遍 —— 无需一字不漏地精读，这太花时间了。大致翻一遍、通读一遍，就可以。 在这个过程中，你需要思考和回答这三个问题： What：这个领域研究的对象是什么？有哪些主要流派和分支

原论文地址：https://arxiv.org/abs/1712.05884 摘要 这篇论文描述了Tacotron 2， 一个直接从文本合成语音的神经网络架构。系统由两部分构成，一个循环seq2seq结构的特征预测网络，把字符向量映射到梅尔声谱图，后接一个WaveNet模型的修订版，把梅尔声谱图合成为时域波形。我们的模型得到了4.53的平均意见得分（MOS），而专业录制语音的MOS得分是4.58。为了验证模型设计，我们对系统的关键组件作了剥离实验研究，并且评估了使用梅尔频谱替代语言学、音长和F0特征作为WaveNet输入带来的影响。我们进一步展示了使用紧凑的声学中间表征可以显著地简化WaveNet架构。 索引词： Tacotron 2, WaveNet, text-to-speech 1. 介绍 从文本生成自然语音（语音合成，TTS）研究了几十年[1]仍然是一项有挑战的任务。这一领域的主导技术随着时代的发展不断更迭。单元挑选和拼接式合成方法，是一项把预先录制的语音波形的小片段缝合在一起的技术[2, 3]，过去很多年中一直代表了最高水平。统计参数语音合成方法[4, 5, 6, 7]，是直接生成语音特征的平滑轨迹，然后交由声码器来合成语音，这种方法解决了拼接合成方法中出现的边界人工痕迹的很多问题。然而由这些方法构造的系统生成的语音与人类语音相比，经常模糊不清并且不自然。 WaveNet

网络就像是一层层连起来或者说叠加起来，keras训练网络分为以下步骤：定义》编译》训练》评估》预测 # 简易多层感知神经网络示例 from keras.models import Sequential from keras.layers import Dense import numpy # 加载，预处理数据集 dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",") X = dataset[:,0:8] Y = dataset[:,8] # 1. 定义模型 model = Sequential() model.add(Dense(12, input_dim=8, activation='relu')) model.add(Dense(1, activation='sigmoid')) # 2. 编译模型 ##优化器optimizer，损失函数loss，评估指标metrics。 ##编译的过程也是 Keras 将我们刚定义好的模型转化为底层平台（TensorFlow 或 Theano）结构描述过程，底层平台会负责后续的计算任务，GPU、CPU 的调度选择，分布式运行等。 model.compile(loss='binary_crossentropy', optimizer='adam', metrics=

文章目录 基础 1. 常见的梯度下降方法及优缺点——优化器 梯度下降的推导 Momentum——优化器 指数加权移动平均 Nesterov动量 Adagrad——优化器 Adadelta——优化器 RMSprop——优化器 Adam——优化器 2. dropout原理以及为什么能用于防止过拟合？ 3. 为什么需要Normalization 4.[Batch Normalization的理解](https://zh.gluon.ai/chapter_convolutional-neural-networks/batch-norm.html) 5. BN的前向传播和反向传播公式 6. BN的使用场景 7. BN和Dropout共同使用时会出现的问题 8. LN的作用 9. [梯度消失与梯度膨胀，以及6种解决措施](https://blog.csdn.net/qq_25737169/article/details/78847691) 10. 为什么神经网络参数不能全部初始化为全0 一、神经网络基础和前馈神经网络 1、激活函数的比较 2、神经网络结构哪几种？各自都有什么特点？ 3、前馈神经网络叫做多层感知机是否合适？ 4、前馈神经网络怎么划分层？ 5、如何理解通用近似定理？ 6、怎么理解前馈神经网络中的反向传播？具体计算流程是怎样的？ 7、在深度学习中，网络层数增多会伴随哪些问题，怎么解决

论文地址： Unsupervised Feature Learning via Non-Parametric Instance Discrimination github代码: NCE代码 摘要: 在有标签数据上训练的神经网络分类器能够很好的捕捉图片间的视觉相似性。文章假设：我们能通过训练基于实例（将每一个样本视为单独的类别）的分类器代替基于类别的分类器，得到可以捕捉视觉相似性的特征表达。我们将其总结为 非参数化实例级判别 ，并且通过**噪声对比估计（noise-contrastive estimation）**解决大量实例类别引起的计算困难。 我们的实验证明了，在无监督学习的限制下，我们的方法在ImageNet数据集上超越了当前最好方法。采用更多的训练数据和更先进的网络结构，我们的方法能够进一步提高分类准确率。通过微调学习到的特征，我们能观察到与半监督学习和目标检测任务上相当的结果。同时，我们的非参数化模型十分紧致：每张图片仅需要提取128维的特征，百万量级的图片也仅需要600MB存储空间，使得实际运行时能够很快达成近邻检索的目的。 引言 研究者在本文中提出的无监督学习的创新方法源于对监督学习物体识别结果的一些观察。在 ImageNet 上，top-5 分类误差远低于 top-1 误差 ，并且图像在 softmax 层输出中的预测值排第二的响应类更可能与真实类有视觉关联。 如图

1. 安装pytorch 2. 安装 pytorchviz 使用的是pip install git+https://github.com/szagoruyko/pytorchviz 安装完之后发现还必须要安装graphviz 3. 安装 graphviz 安装完之后报了一大串错误，查过博客发现系统还需要安装，使用sudo conda install graphviz 安装 4. 通过测试代码 import torch from torchvision import models from torchviz import make_dot model = models.vgg19() x = torch.randn(1, 3, 224, 224) vis_graph = make_dot(model(x),params=dict(model.named_parameters())) vis_graph.view() 结果如下： 来源： CSDN 作者： qk61508 链接： https://blog.csdn.net/qk61508/article/details/103507129

一、IPv4协议和NAT的由来 1、IPv4协议介绍 　　2011年2月3日，IANA宣布：IPv4地址空间最后5个地址块已经被分配给下属的5个地区委员会。2011年4月15日，亚太区委员会APNIC对外宣布，除了个别保留地址外，本区域所有的IPv4地址基本耗尽。一时之间，IPv4地址作为一种濒危资源身价陡增。 　　 IPv4 即 网际网协议第4版 （Internet Protocol Version 4）定义一个跨越异种网络互连的超级网，为每个网际网的节点分配全球唯一IP地址。IPv4使用 32bits整数 表达一个地址，地址最大范围就是232约为 43亿 。以IP创始时期可被联网的设备来看，这样的一个空间已经很大，很难被短时间用完。然而，事实远远超出人们的设想，计算机网络在此后的几十年里迅速壮大，网络终端数量呈爆炸性增长。 　　更糟糕的是，为了路由和管理方便，43亿的地址空间按 不同前缀长度 划分为 A,B,C,D,E类 地址网络和保留地址。 　　 　　地址分类如下所示（默认情况下通过 第一个8位 辨别类别）： 　　　　A 0 0000000--- 0 1111111 0-127 　　　　B 10 000000--- 10 111111 128-191 　　　　C 110 00000--- 110 11111 192-223 　　　　D 1110 0000--- 1110