tensorflow

阅读本文大概需要 18 分钟。 前言 在毕设系列推文的第二章中我们详细介绍了TensorFlow的一些基础知识（ TensorFlow 2.0 概述 ）；在第三章（ 毕业设计之「神经网络与深度学习概述」 （一） 、 毕业设计之「神经网络与深度学习概述」（二） ）中对神经网络与深度学习做了简单的概述（主要介绍本章节中完成两个项目所用的一些基础概念）包括激活函数、梯度下降、损失函数、softmax算法等；并且通过简单描述全连接神经网络的不足，详细介绍了卷积神经网络的相关概念。 有了前面几章的基础知识，在本章中，我们会在此基础上介绍两个相关的例子（在此之前会对4.1节中对所用卷积神经网络 AlexNet 进行详尽的描述）： 其中包括 利用AlexNet完成MNIST手写字的训练和识别 （本文所涉及内容）以及 毕业设计之「测试实验及结果分析」（二） 。 第一个例子是论文中要求指定完成的例子；第二个例子是为了丰富论文成果通过Python爬虫技术收集数据样本集（包括测试集图片和训练集图片，共计3762张图片）、通过搭建AlexNet标准网络结构模型进行训练，并通过测试集图片进行最终结果分析而特别引入的。 图解AlexNet网络结构 MNIST手写字训练和识别 import TensorFlow as tf mnist = tf.keras.datasets.mnist (x_train, y

在TensorFlow的优化器中， 都要设置学习率。学习率是在精度和速度之间找到一个平衡： 学习率太大，训练的速度会有提升，但是结果的精度不够，而且还可能导致不能收敛出现震荡的情况。 学习率太小，精度会有所提升，但是训练的速度慢，耗费较多的时间。 因而我们可以使用退化学习率，又称为衰减学习率。它的作用是在训练的过程中，对学习率的值进行衰减，训练到达一定程度后，使用小的学习率来提高精度。 在TensorFlow中的方法如下：tf.train.exponential_decay()，该方法的参数如下： learning_rate, 初始的学习率的值 global_step, 迭代步数变量 decay_steps, 带迭代多少次进行衰减 decay_rate, 迭代decay_steps次衰减的值 staircase=False, 默认为False，为True则不衰减 例如 tf.train.exponential_decay(initial_learning_rate, global_step=global_step, decay_steps=1000, decay_rate=0.9)表示没经过1000次的迭代，学习率变为原来的0.9。 增大批次处理样本的数量也可以起到退化学习率的作用。 下面我们写了一个例子，每迭代10次，则较小为原来的0.5，代码如下： import

exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=False, name=None) 使用方式： tf.tf.train.exponential_decay() 例子： tf.train.exponential_decay(self.config.e_lr, self.e_global_steps，self.config.decay_steps, self.config.decay_rate, staircase=True) 在 Tensorflow 中，exponential_decay()是应用于学习率的指数衰减函数（实现指数衰减学习率）。 在训练模型时，通常建议随着训练的进行逐步降低学习率。该函数需要`global_step`值来计算衰减的学习速率。 该函数返回衰减后的学习率。该函数的计算方程式如下 参数： learning_rate - 初始学习率 global_step - 用于衰减计算的全局步骤。 一定不为负数。喂入一次 BACTH_SIZE 计为一次 global_step decay_steps - 衰减速度，一定不能为负数，每间隔decay_steps次更新一次learning_rate值 decay_rate - 衰减系数，衰减速率