alexnet

Chenyi Chen——【ACCV2016】R-CNN for Small Object Detection 目录 作者和相关链接 方法概括 创新点和贡献 方法细节 实验结果 总结与收获点 参考文献 作者和相关链接 论文下载 Chenyi Chen , Ming-Yu Liu ， Jianxiong Xiao 所有作者的简单信息 方法概括 这篇文章主要讨论 针对小目标的目标检测 文章为了证明：对传统的R-CNN style的方法进行改进，可以用于小目标检测，并且性能比DPM方法好 整个检测流程： 用改进版的RPN（修改了anchor的尺度，称为 modified RPN ）提取候选区域； 用改进版的CNN（结合了上下文信息的CNN模型，base的CNN可以用AlexNet或者VGG，称为 ContextNet ）对候选区域进行分类。（不做box regression） 创新点和贡献 文章从三个角度对比了小目标检测的方法： 候选区域生成 ：传统RPN vs. modified RPN （更好！） 上采样策略 ：上采样比例小+去掉全连接 vs. 上采样比例大+保留全连接（更好！） 是否使用上下文信息 ： 不适用上下文 vs. 使用上下文（更好！） 文章的贡献在于 ： 提出了一个专门 针对小目标的目标检测benchmark库 ； 提出了一个把传统R

LeNet、AlexNet和VGG在设计上的共同之处是：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。 其中，AlexNet和VGG对LeNet的改进主要在于如何对这两个模块加宽（增加通道数）和加深。本节我们介绍⽹络中的⽹络（NiN）—— 它提出了另外⼀个思路，即串联多个由卷积层和“全连接”层构成的⼩⽹络来构建⼀个深层⽹络。 一、NIN 块 卷积层的输⼊和输出通常是四维数组（样本，通道，⾼，宽），⽽全连接层的输⼊和输出则通常是⼆维数组（样本，特征）。如果想在全连接层后再接上卷积层，则需要将全连接层的输出变换为四维。 左图是AlexNet和VGG的⽹络结构局部，右图是NiN的⽹络结构局部 二、NIN模型 NiN是在AlexNet问世不久后提出的。它们的卷积层设定有类似之处。NiN使⽤卷积窗⼝形状分别为 \(11 \times 11\) 、 \(5 \times 5\) 和 \(3 \times 3\) 的卷积层，相应的输出通道数也与AlexNet中的⼀致。每个NiN块后接⼀个步幅为2、窗⼝形状为 \(3 \times 3\) 的最⼤池化层。 NIN 与 ALexNet 区别： NiN去掉了AlexNet最后的3个全连接层，取⽽代之地，NiN使⽤了输出通道数等于标签类别数的NiN块，然后使⽤全局平均池化层对每个通道中所有元素求平均并直接⽤于分类。 来源

LeNet 　　1998年， LeCun提出了第一个真正的卷积神经网络，也是整个神经网络的开山之作，称为 LeNet，现在主要指的是 LeNet5或 LeNet-5，如图1.1所示。它的主要特征是将卷积层和下采样层相结合作为网络的基本机构，如果不计输入层，该模型共 7层，包括 2个卷积层， 2个下采样层， 3个全连接层。 图1.1 　　注：由于在接入全连接层时，要将池化层的输出转换成全连接层需要的维度，因此，必须清晰的知道全连接层前feature map的大小。卷积层与池化层输出的图像大小，其计算如图 1.2所示。 图1.2 　　本次利用 pytorch实现整个 LeNet模型，图中的 Subsampling层即可看作如今的池化层，最后一层（输出层）也当作全连接层进行处理。 1 import torch as torch 2 import torch.nn as nn 3 class LeNet(nn.Module): 4 def __init__(self): 5 super(LeNet,self).__init__() 6 layer1 = nn.Sequential() 7 layer1.add_module('conv1',nn.Conv2d(1,6,5)) 8 layer1.add_module('pool1',nn.MaxPool2d(2,2)) 9 self

MATLAB 安装AlexNet失败问题解决 近日一直在搞毕业设计，用到AlexNet网络做测试工作，但遇到“下载支持包时出现问题。要解决此问题，请参阅该 MATLAB 答复”这个问题。查阅了有关文献网络，解决的的比较少。之后在MATLAB官方外网上找到了有关解决方案。 1，首先确定必须是2016B及以上版本，有些电脑可能2016的也不行，本人使用的2019A版本 2，默认网络连接正常，关闭防火墙等杀毒软件。 3，在系统变量下，选择New。设置第一个变量名“JAVA_TOOL_OPTIONS”，其值为“-Djava.net.preferIPv4Stack=true”(输入时不带引号)。 4再次选择New。设置第二个变量名“JAVA_OPTIONS”，其值为“-Djava.net.preferIPv4Stack=true”(不带引号的输入)，然后单击OK 重启MATLAB后即可安装成功。 时间可能久一些，30分钟左右。 安装后可进行测试 来源： CSDN 作者： 睿~ 链接： https://blog.csdn.net/qq_42666791/article/details/104776895

目录 1. 典型深度学习框架 1.1 概述 1.2 可视化解读十种CNN框架 1.2.1 LeNet-5(1998) 1.2.2 AlexNet(2012) 1.2.3 VGG16(2014) 1.2.4 Inception-v1(2014) 1.2.5 Inception-v3(2015) 2. 深度迁移学习攻略 应对过拟合 数据增强 十种卷积神经网络框架 1. 典型深度学习框架 1.1 概述 论文发表时间： Keras 可以使用的6种模型 现在已经不止6种： Keras Documentation “[m]ost of this progress is not just the result of more powerful hardware, larger datasets and bigger models, but mainly a consequence of new ideas, algorithms and improved network architectures.” (Szegedy et al, 2014) 1.2 可视化解读十种CNN框架 1.2.1 LeNet-5(1998) ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200308172729411.png?x-oss-process=image

　　 在咨询了老师的建议后，最近开始着手深入的学习一下目标检测算法，结合这两天所查到的资料和个人的理解，准备大致将CNN目标检测的发展脉络理一理（暂时只讲CNN系列部分，YOLO和SSD，后面会抽空整理）。 　　目标检测的发展大致起始于2000年前后（具体我也没去深究，如果有误还请大佬们指正 ●ˇ∀ˇ● ），早期受限于算力，目标检测发展的不温不火，直到半导体技术的进步，以及Hinton团队的榜样作用，图像的目标检测才开始有了突飞猛进的发展。 　　就我个人理解，从2012年至今的目标检测的发展，并没有在算法上呈现出本质性的突破，更多的是将前人已经提出的算法/技巧，进行了巧妙的组合与优化，然后在高速设备上进行快速的验证与迭代，才有了目标检测如今繁荣的发展现状。（当然，也可能是因为小弟对学术界的发展所知甚少，而导致了一种以偏概全的理解🙃emm。。。） 　　接下来的几篇博客会按照 AlexNet --> R-CNN -->FastRCNN -->FasterRCNN --> MaskRCNN 的顺序来整理，今天的内容是ALexNet，因为我的目的在于简析目标检测发展脉络，把握算法的改进路线，所以不会特别详细的讲解算法原理（好吧，我就是懒的写怎么滴~(￣▽￣)~*），只挑与“改进/发展”相关的部分内容简析，以作为我对目标检测领域的综述性学习笔记。 AlexNet 　 　说起AlexNet

CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper，当时提到，2006年虽然Deep Learning的概念被提出来了，但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时，台下的机器学习大牛们不屑一顾，质问你们的东西有理论推导吗？有数学基础吗？搞得过SVM之类吗？回头来看，就算是真的，大牛们也确实不算无理取闹，是骡子是马拉出来遛遛，不要光提个概念。 时间终于到了2012年，Hinton的学生Alex Krizhevsky在寝室用GPU死磕了一个Deep Learning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠，在百万量级的ImageNet数据集合上，效果大幅度超过传统的方法，从传统的70%多提升到80%多。个人觉得，当时最符合Hinton他们心境的歌非《我不做大哥好多年》莫属。 这个Deep Learning模型就是后来大名鼎鼎的AlexNet模型。这从天而降的AlexNet为何能耐如此之大？有三个很重要的原因： 大量数据，Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet； GPU，这种高度并行的计算神器确实助了洪荒之力，没有神器在手，Alex估计不敢搞太复杂的模型； 算法的改进，包括网络变深、数据增强、ReLU、Dropout等，这个后面后详细介绍。

目录 AlexNet AlexNet摘要 AlexNet代码 VGG VGG摘要 VGG的优缺点 代码 NiN NiN摘要 GoogLeNet GoogLeNet完整结构 AlexNet AlexNet摘要 由于受到计算机性能的影响，虽然LeNet在图像分类中取得了较好的成绩，但是并没有引起很多的关注。 知道2012年，Alex等人提出的AlexNet网络在ImageNet大赛上以远超第二名的成绩夺冠，卷积神经网络乃至深度学习重新引起了广泛的关注 AlexNet是在LeNet的基础上加深了网络的结构，学习更丰富更高维的图像特征。AlexNet的特点： 更深的网络结构 使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征 使用Dropout抑制过拟合 使用数据增强Data Augmentation(如翻转、裁剪和颜色变化)抑制过拟合 使用Relu替换之前的sigmoid的作为激活函数 多GPU训练 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层 AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉研究的前状。 （左边是LeNet的网络结构，右边是AlexNet的网络结构） AlexNet代码 !pip install torchtext import time import torch from torch import nn ,

卷积神经网络（Convolutional Neural Network，CNN）最初是为解决图像识别等问题设计的，在早期的图像识别研究中，最大的挑战是如何组织特征，因为图像数据不像其他类型的数据那样可以通过人工理解来提取特征。卷积神经网络相比传统的机器学习算法，无须手工提取特征，也不需要使用诸如SIFT之类的特征提取算法，可以在训练中自动完成特征的提取和抽象，并同时进行模式分类，大大降低了应用图像识别的难度；相比一般的神经网络，CNN在结构上和图片的空间结构更为贴近，都是2D的有联系的结构，并且CNN的卷积连接方式和人的视觉神经处理光信号的方式类似。 卷积和池化的随机组合赋予了CNN很大的灵活性，因此也诞生了很多耳熟能详的经典网络：LeNet，AlexNet，VGGNet，NiN,Google Inception Net，ResNet，DenseNet这几种网络在深度和复杂度方面依次递增。下面将分别介绍这几种网络原理，架构以及实现（Pytorch实现）。 LeNet LeNet诞生于1994年，是 最早的深层卷积神经网络之一 ，并且推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet5。它是第一个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达99.2%。

AlexNet结构 及 pytorch、tensorflow、keras、paddle实现ImageNet识别 环境 python3.6， paddlepaddle-gpu 1.6.3.post107 代码 # -*- coding: utf-8 -*- # @Time : 2020/1/21 11:18 # @Author : Zhao HL # @File : alexnet-paddle.py import os, sys from PIL import Image import numpy as np import pandas as pd import paddle from paddle import fluid from paddle.fluid.layers import data, conv2d, pool2d, flatten, fc, cross_entropy, accuracy, mean from my_utils import process_show, draw_loss_acc # region parameters # region paths Data_path = "./data/my_imagenet" Data_csv_path = "./data/my_imagenet.csv" Model_path = 'model/' Model