1 #精简版SGD 2 def SGD(self, training_data, epochs, mini_batch_size, eta,): 3 n = len(training_data) 4 # 进行epochs次主循环来计算weights和biases 5 for j in xrange(epochs): 6 # 每个主循环走一遍所有训练数据，并shuffle一下提供好的随机性 7 random.shuffle(training_data) 8 # 对于每个计算随机梯度的具体事件，设置一个mini_batch，用这mini_batch_size个样本来计算随机梯度 9 mini_batches = [ 10 training_data[k:k+mini_batch_size] 11 for k in xrange(0, n, mini_batch_size)] 12 # 计算随机梯度，更新weights和biases，eta是学习率 13 for mini_batch in mini_batches: 14 self.update_mini_batch(mini_batch, eta)
知乎上看到一个直观的解释...
链接：https://www.zhihu.com/question/43673341/answer/730181826
链接：https://www.zhihu.com/question/43673341/answer/730181826
涉及到的基础概念有批数量，迭代次数，训练集数量。
打个比方吧，比如田径跑步。
一次只能8个人一起跑，这就是模型的批数量，也就是说batch number 为8
然后开始跑步，也就是说进行模型的前向传播，
然后跑步到终点，一次迭代完成，这整个的一次过程称为模型的一次迭代。
那么剩下的田径选手怎么办，继续从头开始跑，也就是说开始下一次的迭代。
所有的选手都跑完之后，也就是说数据集中的数据在模型中都训练完了，这就是一次epoch。
epoch与epoch之间是独立的，一次接一次的迭代，一个epoch接一个epoch。