PyTorch 是当前主流深度学习框架之一，其设计追求最少的封装、最直观的设计，其简洁优美的特性使得 PyTorch 代码更易理解，对新手非常友好。

本文为实战篇，介绍搭建卷积神经网络进行图像分类与图像风格迁移。

1、实验数据准备

本文中准备使用 MIT67 数据集，这是一个标准的室内场景检测数据集，一共有 67 个室内场景，每类包括 80 张训练图片和 20 张测试图片，大家可以登录http://web.mit.edu/torralba/www/indoor.html，在如图 1 所示的页面中，下载得到这个数据集。

■ 图 1 MIT67 数据集

将下载的数据集解压，主要使用 Image 文件夹，这个文件夹一共包含 6700 张图片，还有 TrainImages.txt，包含 67×80 张训练集图像路径和它们的标签，以及 TestImages.txt,包含 67×20 张测试集图像路径和它们的标签。

2、数据预处理和准备

主要介绍如何利用 PyTorch 构建需要的场景识别算法。我们采用一个标准的 ResNet-50 网络，基于 ResNet 结构,构建一个在 MIT67 数据集上可以解决室内场景分类任务的模型。

1●数据集的读取

首先需要将下载的数据集读入内存，读入路径和标签这些信息存在于两个.label 文件中。读取完成后应该得到一个图片路径组成的数组和一个标签组成的数组。这一步可以根据机器上的路径进行读取。将读取的结果记为 train_list, train_labels（test_list, test_labels）。

我们的最终目标是将输入组织成 DataLoader 的结构，这个结构中将图片像素矩阵与 label 一一对应并且随机排序，这也是能够被 PyTorch 框架作为输入的标准结构。可以通过将上一步得到的数组放入 DataLoader 的构造函数来自动生成这个类。

2●重载 data.Dataset 类

可以发现，在构造 DataLoader 的时候，第一个参数是 MyDataset 类对象，首先需要定义这个类。这个类是 data.Dataset 这个 PyTorch 框架中的数据类的继承，需要重写以下几个函数，其中尤其要注意使得__getitem__（）方法可以返回 tensor 格式的预处理后的图像和标签。

3●transform 数据预处理

PyTorch 中利用 torchvision 中的 transforms 包对图像输入进行预处理，在上一步重载 data.Dataset 中可以找到这个函数。这个函数接受一个 PIL 图像，首先缩放到 256×256×3，然后随机截取成 224×224×3，这是为了保证训练集的多样性，然后转化成 PyTorch 运算所接受的 tensor 格式，最后进行数据标准化。

3、图像风格迁移

VGG 模型是由 Simonyan 等人于 2014 年提出的图像分类模型，这一模型采用了简单粗暴的堆砌 3×3 卷积层的方式构建模型，并花费了大量的时间逐层训练，最终斩获了 2014 年 ImageNet 图像分类比赛的亚军。这一模型的优点是结构简单，容易理解，便于利用到其他任务当中。

VGG-19 网络的卷积部分由 5 个卷积块构成，每个卷积块中有多个卷积（convolution）层，结尾处有一个池化（pooling）层，如图 2 所示。

■ 图 2 VGG-19 的网络结构

卷积层中的不同卷积核会被特定的图像特征激活，图 3 展示了不同卷积层内卷积核的可视化（通过梯度上升得到）。可以看到，低层卷积核寻找的特征较为简单，而高层卷积核寻找的特征比较复杂。

■ 图 3 VGG 网络中部分卷积层内卷积核的可视化

4、图像风格迁移介绍

图像风格迁移是指将一张风格图 Is 的风格与另一张内容图 Ic 的内容相结合并生成新的图像。Gatys 等人于 2016 年提出了一种简单而有效的方法，利用预训练的 VGG 网络提取图像特征，并基于图像特征组合出了两种特征度量，一种用于表示图像的内容，另一种用于表示图像的风格。他们将这两种特征度量加权组合，通过最优化的方式生成新的图像，使新的图像同时具有一幅图像的风格和另一幅图像的内容。

图 4 对风格迁移的内部过程进行了可视化。上面的一行中，作者将 VGG 网络不同层的输出构建风格表示，再反过来进行可视化，得到重构的风格图片；下面的一行中，作者将 VGG 网络不同层的输出构建内容表示，再反过来进行可视化，得到重构的内容图片。可以看到，低层卷积层提取的风格特征较细节，提取的内容特征较详细；高层卷积层提取的风格特征较整体，提取的内容特征较概括。

■ 图 4 风格迁移中使用的风格数学表示和内容数学表示

5、内容损失函数

1●内容损失函数的定义

内容损失函数用于衡量两幅图像之间的内容差异大小，其定义如下。

其中，Xl 和 Yl 分别是两幅图片由 VGG 网络某一卷积层提取的特征图（feature map），l 表示卷积层的下标，i 和 j 表示矩阵中行与列的下标。可见两幅图像的内容损失函数是由特征图对位求差得到的。低层卷积特征图对图片的描述较为具体，高层卷积特征图对图片的描述较为概括。Gatys 等人选择了第 4 个卷积块的第 2 层（conv4_2）用于计算内容损失，因为我们希望合成的图片的内容与内容图大体相近，但不是一笔一画都一模一样。

2●内容损失模块的实现

模块在初始化时需要将内容图片的特征图传入，通过 detach（）方法告诉 AutoGrad 优化时不要变更其中的内容。forward（）方法实现上面的公式即可。

6、风格损失函数

1●风格损失函数的定义

风格损失函数用于衡量两幅图像之间的风格差异大小。首先需要通过计算特征图的 Gram 矩阵得到图像风格的数学表示。给定 VGG 在一幅图像中提取的特征图 Xl，与之对应的 Gram 矩阵 Gl 定义如下。

Gram 矩阵本质上是特征的协方差矩阵（只是没有减去均值），表示的是特征与特征（卷积核与卷积核）的相关性。

设由以上方式获得 Xl 和 Yl 对应的 Gram 矩阵 Gl 和 Hl，风格损失函数定义如下。

其中，Nl 和 Ml 分别为特征图的通道数与边长，ωl 为权重。Gatys 等选择了 conv1_1,conv2_1, conv3_1, conv4_1, conv5_1 用于计算风格损失。

2●计算 Gram 矩阵函数的实现

因为 PyTorch 传入数据必须以批的形式，传入的 input 的大小为［batch_size, channels, height, width］。计算 Gram 矩阵时，先用 view 方法改变张量的形状，然后再将它与它自己转置进行点积即可。

3●风格损失模块的实现

模块在初始化时需要将风格图片的特征图传入并计算其 Gram 矩阵，通过 detach()方法告诉 AutoGrad 优化时不要变更其中的内容。forward()方法实现上面的公式即可。