卷积神经网络

3 月，跳不动了？>>> 我们之前讨论了卷积神经网络，从局部可以提取出特征，用于小猫小狗的图片识别处理，非常有效；也讨论了循环神经网络进行文本的处理，因为文本的顺序是顺序相关的。基于以上特点，我们把时间或者说文本的前后看做一个维度，那一段文本就是一个一维空间，相比图片的二维空间，变得更加简单了，那卷积神经网络是否可以处理这样的情况呢？ 先亮出结论，答案是肯定的。图片是二维的数据，文本是一维的数据，因此我们可以对训练的神经网络进行简化，让网络去提取一维的特征。既然如此，一维神经网络与二维的神经网络是类似的，因此我们可以把二维卷积神经网络的特性迁移到一维的卷积神经网络上。 我们在讨论神经网络的时候，我们知道了卷积神经网络具有平移不变性，非常好的特性，这个特性可以抓住问题的关键，识别出特殊的特征。在一维的卷积神经网络（用到的方法：Conv1D）中，一小段文本所具有的特性，进行学习后，在文本的其他位置仍然可以被识别出来。可以这样理解，一句话在开头说与在结束的时候说，表达的感情应该是一致的，效果也是一样的（绝大多数情况下），这就是文本的平移不变性。 同样的，在处理图片的时候，为了防止数据量过大，防止过拟合，我们需要进行池化的操作，在一维的神经网络中，我们也需要进行池化操作（用到的方法：MaxPooling1D）。 说到这里，大概的主要内容我们就说完了，比较简单，我们该举一个例子了

本文转自 http://www.36dsj.com/archives/24006?utm_source=open-open C-层： 卷积层（Convolutional layer ） S-层： 子采样层（Subsampling layer ） 每层包含多个特征平面（Feature Map） 其中的卷积核是需要训练的，卷积层的特点是：特征增强 （映射效果）， 降低噪声，平移不变性 CNN功能特性：局部特征提取（感受野，相对位置）（每一个神经元从上一层的局部接受域得到突触输人，因而迫使它提取局部特征。一旦一个特征被提取出来，只要它相对于其他特征的位置被近似地保留下来，它的精确位置就变得没有那么重要了）； 特征映射（共享权值、抗变形）（网络的每一个计算层都是由多个特征映射组成的，每个特征映射都是平面形式的。平面中单独的神经元在约束下共享相同的突触权值集，这种结构形式具有如下的有益效果：a.平移不变性。b.自由参数数量的缩减(通过权值共享实现)。）， 子采样（分辨率降低，变形敏感度下降）（每个卷积层跟着一个实现局部平均和子抽样的计算层，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形的敏感度下降的作用。） 自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda

一般情况下 一张分辨率高点的图片就是1000*1000*3维的放在矩阵里3百万啊一列 假设第一层隐藏单元是1000个 那么就是1000*3百万的矩阵 太大了 w1就是3百万 （1000隐藏层，1000*1000*3 输入层）=30亿个参数 所以就要用到卷积了 w*x 1边缘检测：别忘了一般都是低层次到高层次检测的 边缘到整体的 比如下图照片 先检测竖线 再水平线 垂直边缘检测： 比如现在给一个灰度图像 一层的6*6现在利用一个过滤器或者叫kernel检测竖线进行卷积运算 *就是卷积元素符号 对应相乘即可 然后蓝色块右移依次计算 然后还是从左边下移一格 可视化一下：灰白之间就是垂直边缘 加个绝对值也可以 可以可视理解一下 第一个例子 过滤器是个垂直检测边缘的 他和第一个3*3 的相乘 出来是0 移动一列 再乘是30 也就说明了 第一个里面没边缘 第二个里有边缘 很多种过滤器：这里过滤器怎样设置也有争论 甚至直接把过滤器当作要求的参数 反向传播学习出来 变一变可能识别出70度的直线 倾斜的直线 上面卷积的缺点 1会导致图像越来越小 2中间的点会重复多次采集 而旁边的点比如四个角的点 只被采集了一次 利用Padding:在处理之前在图像外围再加一层或者几层填充 有点像前端里的padding 用f*f大小过滤器进行卷积 得到就是n-f+1 * n-f+1的阵 是越来越小了

LeNet 　　1998年， LeCun提出了第一个真正的卷积神经网络，也是整个神经网络的开山之作，称为 LeNet，现在主要指的是 LeNet5或 LeNet-5，如图1.1所示。它的主要特征是将卷积层和下采样层相结合作为网络的基本机构，如果不计输入层，该模型共 7层，包括 2个卷积层， 2个下采样层， 3个全连接层。 图1.1 　　注：由于在接入全连接层时，要将池化层的输出转换成全连接层需要的维度，因此，必须清晰的知道全连接层前feature map的大小。卷积层与池化层输出的图像大小，其计算如图 1.2所示。 图1.2 　　本次利用 pytorch实现整个 LeNet模型，图中的 Subsampling层即可看作如今的池化层，最后一层（输出层）也当作全连接层进行处理。 1 import torch as torch 2 import torch.nn as nn 3 class LeNet(nn.Module): 4 def __init__(self): 5 super(LeNet,self).__init__() 6 layer1 = nn.Sequential() 7 layer1.add_module('conv1',nn.Conv2d(1,6,5)) 8 layer1.add_module('pool1',nn.MaxPool2d(2,2)) 9 self

基于卷积神经网络的ImageNet分类器 作者： Alex Krizhevsky-多伦多大学（加拿大） Ilye Sutskever-多伦多大学 Geoffrey E. Hinton-多伦多大学 摘要 我们训练了一个大型的深度卷积神经网络去将2010年ILSVRC挑战杯包含的120万高分辨率图像分类成1000种不同的类别。在测试数据方面，我们取得了远超过去最佳水平的效果，分别为17%和37.5%的top-5和top-1错误率。有着6000万参数和65万神经元的神经网络由5个部分连接Max池化层的卷积层和3个全连接层连带着1000路softmax组成。为了加快训练速度。我们采用非饱和神经元和一个高效的卷积操作的GPU执行器。为了降低全连接层的过拟合，我们采用了一项近期发展的已被证明有效的名为dropout的正则化方法。 1 引言 解决物体识别的最新方法必不可少的使用机器学习方法。为了提高他们的表现，我们可以收集更大的数据集，训练更有效的模型，并且使用更先进的技术去阻止过拟合。直到近期，有标识的图像数据集相当的小——大约数万张图片的状况才改变。简单的识别任务能够被有效的解决好在这一规模的数据集上，特别是如果他们采用了数据增强。例如，MNIST数字识别任务的最新错误率（0.3%）已接近人类表现。但现实场景中的对象表现出相当大的变异性，所以为了学习识别它们，使用更大的训练集是非常必要的

这个结构是10年Quoc V.Le等人提出的，这里的tiled，按照 Lecun的解释是Locally-connect non shared.即是局部连接，而且不是共享的，这是针对于权重来说的。本文翻译如有错误，还望指正，谢谢！！这篇论文是10年的，相比较来说四年的东西，比较旧了，可是这个tcnn在ng的ufldl最后也有提及（只有目录部分，ng没写完），而且也算是个cnn的变化，不过看效果没有获得the state of art。因为在cifar-10数据集上当前的效果都达到了91%，而且NIN结构也很不错（还没看）。 Tiled convolutional neural networks 摘要 ：卷积神经网络（cnn）已经成功的应用于许多的任务上，比如数字或者对象识别。使用卷积（tied）权重显然可以大幅度的减少所需要学习的参数的数量，并且可以使得在这个结构中能够硬编码（估计就是结构自身所特有的属性的意思吧）平移不变性。在本文中，我们考虑学习不变性的问题，而不是只依赖于硬编码。我们提出了tiled卷积神经网络，它通过使用一个tied权重的规则‘tiled’模式（个人理解就是在卷积上加个tiled规则），即不需要毗邻的隐藏单元共享同样的权重，而是隐藏单元之间距离k步远的单元有tied权重。通过在邻居单元上进行池化，这个结果能够去学习复杂的不变性（例如缩放和旋转不变性

VGG16论文链接： https://arxiv.org/abs/1409.1556 收录于ICLR2015 网络结构和配置： 作者在这篇论文中主要探讨的是使用非常小的卷积核（3*3）来增加卷积神经网络的深度对于性能有很大的提升。如Table 1所示，作者设置了A-E五种卷积神经网络配置来探讨深度对于性能的影响。 结构D和E 就是我们熟知的VGG16(13个卷积层+3个全连接层)和VGG19(16个卷积层+3个全连接层)。PS：层数是没有包含maxpool的 这些网络都遵循一种通用的设计，输入到网络的是一个固定大小的224*224的RGB图像，所做的唯一预处理是从每个像素减去基于训练集的平均RGB值。图像通过一系列的卷积层时，全部使用3*3大小的卷积核。只有在配置C中，作者使用了1*1的卷积核，这可以被看作是输入通道的线性映射(接着是非线性)。卷积的步长均为1，padding也为1。每个网络配置都是5个最大池化层，最大池化的窗口大小为2*2，步长为2。 卷积层之后是三个完全连接(FC)层:前两层有4096个通道，第三个层执行的是1000路ILSVRC分类，因此包含1000个通道(每个类一个)。最后一层是softmax层。在A-E所有网络中，全连接层的配置是相同的。 所有的隐藏层都用 Relu 方法进行校正，只有结构A-LRN包含Local Response

对人类来说，描述我们眼睛所看到的事物，即“视觉世界”，看起来太微不足道了，以至于我们根本没有意识到那正是我们时时刻刻在做的事情。在看到某件事物时，不管是汽车、大树，还是一个人，我们通常都不需要过多的思考就能立刻叫出名字。然而对于一台计算机来说，区分识别“人类对象”（比如：在小狗、椅子或是闹钟这些“非人类对象”中识别出奶奶这一“人类对象”）却是相当困难的。 能解决这一问题可以带来非常高的收益。“图像识别”技术，更宽泛地说是“计算机视觉”技术，是许多新兴技术的基础。从无人驾驶汽车和面部识别软件到那些看似简单但十分重要的发展成果——能够监测流水线缺陷和违规的“智能工厂”，以及保险公司用来处理和分类索赔照片的自动化软件。这些新兴科技是离不开“图像识别”的。 在接下来的内容里，我们将要探究“图像识别”所面临的问题和挑战，并分析科学家是如何用一种特殊的神经网络来解决这一挑战的。 学会“看”是一项高难度、高成本的任务 着手解决这个难题，我们可以首先将元数据应用于非结构化数据。在之前的文章里，我们曾描述过在元数据稀缺或元数据不存在的情况下，进行文本内容分类和搜索遇到的一些问题和挑战。让专人来对电影和音乐进行人工分类和标记，确实是一项艰巨的任务。但有些任务不仅艰巨，甚至是几乎不可能完成的。比如训练无人驾驶汽车里的导航系统，让其能够将其他车辆与正在过马路的行人区分开来

原文标题：Model of the intrusion detection system based on the integration of spatial-temporal features 原文作者：Jianwu Zhang, Yu Ling, Xingbing Fu, Xiongkun Yang, Gang Xiong, Rui Zhang 原文来源：Computers & Security 2020 原文链接：https://www.sciencedirect.com/science/article/pii/S0167404819302214 文章目录 1 简介 2 相关工作 2.1 入侵检测系统 2.2 深度神经网络 3 MSCNN-LSTM设计 3.1 数据选择 3.2 数据处理 3.2.1 数据标准化（standardization） 3.2.2 数据归一化（normalization） 3.3 特征学习过程 3.4 多尺度卷积（multiscale convolution） 3.5 LSTM网络 3.5.1 RNN 3.5.2 LSTM 3.6 池化层 3.7 模型反馈 4 实验 4.1 实验数据 4.2 实验过程 4.3 实验度量 4.4 实验结果 5 总结 1 简介 传统的机器学习方法，如SVM、贝叶斯网络、聚类等，当数据集的规模较小、维度较低时

什么是卷积神经网络 以下解释来源于ujjwalkarn的博客： 卷积神经网络（ConvNets 或者 CNNs）属于神经网络的范畴，在图像识别和分类领域具有高效的能力。卷积神经网络可以成功识别人脸、物体和交通信号，从而为机器人和自动驾驶汽车提供视力。 在上图中，卷积神经网络可以识别场景，也可以提供相关的标签，比如“桥梁”、“火车”和“网球”；而下图展示了卷积神经网络可以用来识别日常物体、人和动物。最近，卷积神经网络也在一些自然语言处理任务（比如语句分类）。 因此，卷积神经网络对于今天大多数的机器学习用户来说都是一个重要的工具。 卷积操作 “卷积”这一词在多个领域里都有定义（比如信号处理领域的傅里叶变换中也有卷积）。具体在图像处理领域，卷积操作是指使用一个小的“模板窗口”对一个图片中的所有与模板大小相同的区域进行“卷积运算”。“卷积运算”其实很简单，就是将模板中的每一个数字与图片中相同大小区域的对应数字（像素值）进行相乘，再求和。具体操作如下图： “模板窗口”每移动到一个位置，就和图片中的对应元素进行一次卷积运算，注意我们一般把“模板窗口”称为卷积核(kernel)。 比如在第一个位置，图片上的四个像素值为[[0,0],[1,1]], 而卷积核中的数值为[[-1,1],[-1,1]], 对应元素相乘再求和，得到0 -1+0 1+1 -1+1 1=0 比如在第二个位置