动手学PyTorch | (19) 二维卷积层

卷积神经⽹络(convolutional neural network)是含有卷积层(convolutional layer)的神经⽹络。本章中介绍的卷积神经网络均使⽤最常⻅的二维卷积层。它有高和宽两个空间维度，常⽤来处理图像数据。本节中，我们将介绍简单形式的二维卷积层的工作原理。

1. 二维互相关运算

2. 二维卷积层

1. 二维互相关运算

虽然卷积层得名于卷积(convolution)运算，但我们通常在卷积层中使用更加直观的互相关(cross- correlation)运算。在⼆维卷积层中，⼀个二维输⼊数组和⼀个⼆维核(kernel)数组通过互相关运算输出⼀个二维数组。我们用⼀个具体例子来解释二维互相关运算的含义。如下图所示，输⼊是⼀个⾼和宽均为3的⼆维数组。我们把该数组的形状记为3x3或(3,3).核数组的高和宽分别为2.该数组在卷积计算中⼜称卷积核或过滤器(filter)。卷积核窗口(⼜称卷积窗⼝)的形状取决于卷积核的⾼和宽，即2x2.下图中的阴影部分为第一个输出元素及其计算所使⽤的输⼊和核数组元素:0x0+1x1+3x2+4x3 = 19.

在⼆维互相关运算中，卷积窗口从输⼊数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。当卷积窗口滑动到某一位置时，窗⼝中的输⼊子数组与核数组按元素相乘并求和，得到输出数组中相应位置的元素。下图中的输出数组⾼和宽分别为2，其中的4个元素由⼆维互相关运算得出:

下⾯我们将上述过程实现在corr2d函数里。它接受输⼊数组X与核数组K，并输出数组Y。

import torch 
from torch import nn

def corr2d(X, K):  # 可以把本函数保存在d2lzh_pytorch包中方便以后使用
    h, w = K.shape
    X, K = X.float(), K.float()
    Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            Y[i, j] = (X[i: i + h, j: j + w] * K).sum()
    return Y

X = torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]])
K = torch.tensor([[0, 1], [2, 3]])
corr2d(X, K)

2. 二维卷积层

⼆维卷积层将输⼊和卷积核做互相关运算，并加上⼀个标量偏差来得到输出。卷积层的模型参数包括了卷积核和标量偏差。在训练模型的时候，通常我们先对卷积核随机初始化（或采用默认初始化方式），然后不断迭代卷积核和偏差。

下⾯基于corr2d函数来实现⼀个⾃定义的二维卷积层。在构造函数__init__里声明weight和bias两个参数。前向函数forward则是直接调用corr2d函数再加上偏差：

class Conv2D(nn.Module):
    def __init__(self, kernel_size):
        super(Conv2D, self).__init__()
        #自定义卷积层
        self.weight = nn.Parameter(torch.randn(kernel_size))
        self.bias = nn.Parameter(torch.randn(1))

    def forward(self, x):
        return corr2d(x, self.weight) + self.bias

卷积窗口形状为pxq的卷积层称为pxq卷积层。同样，pxq卷积或pxq卷积核说明卷积核的高度和宽度分别为p，q。

3. 图像中物体边缘检测

下面我们来看⼀个卷积层的简单应用:检测图像中物体的边缘，即找到像素变化的位置。首先我们构造⼀张6x8的图像(即高和宽分别为6像素和8像素的图像)。它中间4列为黑(0)，其余为白(1)。

X = torch.ones(6, 8)
X[:, 2:6] = 0
X

然后我们构造⼀个⾼和宽分别为1和2的卷积核K。当它与输入做互相关运算时，如果横向相邻元素相同，输出为0;否则输出为⾮0。

K = torch.tensor([[1, -1]])

下⾯将输⼊X和我们设计的卷积核K做互相关运算。可以看出，我们将从⽩到黑的边缘和从黑到白的边缘分别检测成了1和-1。其余部分的输出全是0。

Y = corr2d(X,K)
Y

由此，我们可以看出，卷积层可通过􏰁重复使用卷积核有效地表征局部空间。

4. 通过数据学习核数组

最后我们来看一个例子，它使用物体边缘检测中的输⼊数据X和输入数据Y来学习我们构造的核数组K。我们⾸先构造⼀个卷积层，其卷积核将被初始化成随机数组。接下来在每⼀次迭代中，我们使⽤平方误差来⽐较Y和卷积层的输出，然后计算梯度来更新权重􏰁。

# 构造一个核数组形状是(1, 2)的二维卷积层
conv2d = Conv2D(kernel_size=(1, 2))

step = 20
lr = 0.01
for i in range(step):
    Y_hat = conv2d(X)
    l = ((Y_hat - Y) ** 2).sum()
    l.backward()
    
    # 梯度下降
    conv2d.weight.data -= lr * conv2d.weight.grad
    conv2d.bias.data -= lr * conv2d.bias.grad
    
    # 梯度清0
    conv2d.weight.grad.fill_(0)
    conv2d.bias.grad.fill_(0)
    if (i + 1) % 5 == 0:
        print('Step %d, loss %.3f' % (i + 1, l.item()))

可以看到，20次迭代后误差已经降到了一个⽐较⼩的值。现在来看⼀下学习到的卷积核的参数。

print("weight: ", conv2d.weight.data)
print("bias: ", conv2d.bias.data)

可以看到，学到的卷积核的权重􏰁参数与我们之前定义的核数组K较接近，而偏置参数接近于0.

5. 互相关运算和卷积运算

实际上，卷积运算与互相关运算类似。为了得到卷积运算的输出，我们只需将核数组左右翻转并上下翻转，再与输⼊数组做互相关运算。可见，卷积运算和互相关运算虽然类似，但如果它们使⽤相同的核数组，对于同⼀个输入，输出往往并不相同。

那么，你也许会好奇卷积层为何能使用互相关运算替代卷积运算。其实，在深度学习中核数组都是学出来的:卷积层⽆论使⽤用互相关运算或卷积运算都不影响模型预测时的输出。为了解释这一点，假设卷积层使用互相关运算学出上图中的核数组。设其他条件不变，使⽤卷积运算学出的核数组即上图中的核数组按上下、左右翻转。也就是说，上图中的输入与学出的已翻转的核数组再做卷积运算时，依然得到上图中的输出。为了与⼤多数深度学习⽂献一致，如⽆特别说明，本书中提到的卷积运算均指互相关运算。

6. 特征图和感受野

⼆维卷积层输出的⼆维数组可以看作是输⼊在空间维度(宽和高)上某⼀级的表征，也叫特征图 (feature map)。影响元素x的前向计算的所有可能输⼊区域(可能⼤于输⼊的实际尺⼨)叫做的x感受􏰀野(receptive field)。以上图为例，输入中阴影部分的四个元素是输出中阴影部分元素的感受野我们将上图中形状为2*2的输出记为Y􏰀。并考虑⼀个更深的卷积神经⽹络:将Y另⼀个形状为2*2的核数组做互相关运算，输出单个元素z。那么，z在Y上的感受野包括Y的全部四个元素，在输⼊上的感受野􏰀包括其中全部9个元素。可⻅，我们可以通过更深的卷积神经⽹络使特征图中单个元素的感受􏰀野变得更加广阔，从⽽捕捉输⼊上更⼤尺寸的特征。

我们常使⽤“元素”⼀词来描述数组或矩阵中的成员。在神经⽹络的术语中，这些元素也可称为“单元”。当含义明确时，不对这两个术语做严格区分。