Imagenet-classification-with-deep-convolutional-neural-networks
类别：对原型系统进行描述。
内容：
训练了一个当时最大型之一的卷积神经网络，并取得了很好的结果。
编写了高优化的GPU实现2维卷积核其他训练卷积神经网络的固有操作。
网络包含一些新的不常见的特性，提高了性能且减少了训练时间(Section 3)。
使用了一些高效技术防止过拟合(Section4)。
网络架构：
AlexNet采用8层的神经网络，其中包含五个卷积层，其中部分卷积层后面跟着最大池化层，最后跟着三个全连接层(最后一个全连接层的输出是1000维的softmax的输入，softmax会产生1000类标签的分布)。
创新点：
1、 ReLU Nonlinearity：
相比标准方式使用饱和非线性的激活函数（tanh、sigmoid等），该篇论文使用了非饱和非线性的激活函数ReLU作为CNN的激活函数，在梯度下降训练时间方面，加快了训练速度。
2、 Training on Multiple GPUs：
将网络分布在两个GPU上，利用GPU强大的计算能力，加速神经网络的训练。
3、 Local Response Normalization：
使用局部响应归一化，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对跟大，并且抑制其他反馈较小的神经元，有助于进一步增强模型的泛化能力。
4、 Overlapping Pooling：
使用重叠池，并且让步长小于卷积核，使得训练过程更难过拟合。
5、 Data Argumentation：
数据增强，通过随机从256x256的图像中截取224x224大小的区域，以及通过水平翻转的镜像，增加数据量，使用数据增强可以增大模型的泛化能力。
6、 Dropout
利用Dropout随机失活部分神经元，使得神经元不能依赖特定的其他神经元，神经元被强迫学习更鲁棒的特征，有效地避免模型过拟合。
来源：CSDN
作者：文质彬彬丶漆某人
链接：https://blog.csdn.net/qq_37041483/article/details/103485182