深度学习---双层神经网络中矩阵的运算及其含义记录
深度学习---双层神经网络中矩阵的运算及其含义记录 神经网络的正向传播与反向传播 正向传播 第一层的权重矩阵 第一层的输入矩阵 Z^1^ = W^1^X^1^ + b^1^ A^1^ = σ(Z^1^) 第二层的权重矩阵 第二层的输入矩阵 Z^2^ = W^2^A^1^ + b^2^ 反向传播 dz^2^ = A^2^ - Y dw^2^ = 1/n dz^2^A^1T^ db^2^ = 1/n np.sum(dz^2^,axis = 1,keepdim=True) dz^1^ = W^2T^dz^2^ * g^1`^(Z^1^) (这个地方是sigmoid函数的导函数) dw^1^ = 1/n dz^1^A^0T^ db^1^ = 1/n np.sum(dz^1^,axis = 1,keepdim=True) w^1^ 和 dw^1^ 的维度是相同的,这也确保了后续的梯度下降打好了基础。 在看深度学习过程的时候,经常会因为各种矩阵计算搞得头晕,所以就想着梳理一遍并且记录一下,便于自己后续的学习。 神经网络的正向传播与反向传播 神经网络中的正向传播和反向传播都运用了不少的矩阵计算以及数学知识,我期望能够将每一步的含义都记录下来。希望在后续的学习中能够对不同矩阵的意义都能够很熟练的了然于心。 这可能算是矩阵微积分的知识? 目前我还不太明白。。。总之按照自己的理解先记录下去吧~