后 CNN 探索，如何用 RNN 进行图像分类

作者：华为云开发者联盟

2022-10-13
中国香港
本文字数：3880 字
阅读完需：约 13 分钟

本文分享自华为云社区《用RNN进行图像分类——CNN之后的探索》，作者： Yin-Manny。

一、写前的思考：

当看完 RNN 的 PPT，我惊叹于 RNN 可以用于描述时间上连续状态的输出，有记忆功能，能处理时间序列的能力。

当拿到思考题，在 CNN 框架下加入 RNN 程序，这是可以实现的吗，如果可以，它的理论依据是什么，它的实现方法是什么，它的效果是怎样的。加入这个有必要吗。

我寻找了 CNN combine with RNN 的资料，看了 CLDNN 论文，我知道了：

CNN 和 RNN 直接的不同点；

CNN 进行空间扩展，神经元与特征卷积；RNN 进行时间扩展，神经元与多个时间输出计算；

RNN 可以用于描述时间上连续状态的输出，有记忆功能；CNN 则用于静态输出；

CNN 高级结构可以达到 100+深度；RNN 的深度有限。

CNN 和 RNN 组合的意义：

大量信息同时具有时间空间特性：视频，图文结合，真实的场景对话；

带有图像的对话，文本表达更具体；

视频相对图片描述的内容更完整。

但是这对思考题没有什么帮助。

于是我又从 RNN 分类图像下手，试图弄明白 RNN 能用于图像分类的原理，首先需要将图片数据转化为一个序列数据，例如 MINST 手写数字图片的大小是 28x28，那么可以将每张图片看作是长为 28 的序列，序列中的每个元素的特征维度是 28，这样就将图片变成了一个序列。同时考虑循环神经网络的记忆性，所以图片从左往右输入网络的时候，网络可以记忆住前面观察东西，然后与后面部分结合得到最后预测数字的输出结果，理论上是行得通的。但是对于图像分类，CNN 才是主流，RNN 图像分类的理论，对于 CNN 能有什么帮助呢？

甚至我们知道，循环神经网络还是不适合处理图片类型的数据:

第一个原因是图片并没有很强的序列关系，图片中的信息可以从左往右看，也可以从右往左看，甚至可以跳着随机看，不管是什么样的方式都能够完整地理解图片信息;

第二个原因是循环神经网络传递的时候，必须前面一个数据计算结束才能进行后面一个数据的计算，这对于大图片而言是很慢的，但是卷积神经网络并不需要这样，因为它能够并行，在每一层卷积中，并不需要等待第一个卷积做完才能做第二个卷积，整体是可以同时进行的。

那么我要怎么在 CNN 中加入 RNN 程序呢？

初步设想：

把 CNN 比较深层次的网络提取到的特征序列化，再喂给 RNN 进行分类，因为我认为这时候 CNN 提取到的特征比原始图像有更强的序列关系（如下图，越深层得到的特征序列关系越强，比如跳着看可能就难以进行分类了）

二、如何将图像数据改成序列数据？如何加入 RNN 系列程序，以改进图片分类的性能？

设 image.shape 为（h,w）

则令 time_steps=h, input_size=w 即可将图像数据改成序列数据

令 X=[batch_size,h,w]

outputs, states = tf.nn.dynamic_rnn(rnn_cell, X, dtype=tf.float32)即可将 X 应用于 RNN 程序

如果是三通道图片，如 RGB，则利用图像处理知识将三通道图像转为单通道灰度图像。

例如：

import matplotlib.pyplot as plt # plt 用于显示图片from PIL import Imageimport numpy as npimage1 = Image.open('./1.jpg')img=np.array(image1)# 通道转换def change_image_channels(image):# 3通道转单通道if image.mode == 'RGB':r, g, b = image.split()return r,g,bima = change_image_channels(image1)for i in range(3):plt.imshow(ima[i])plt.show()r=img[:,:,0]g=img[:,:,1]b=img[:,:,2]GRAY = b * 0.114 + g * 0.387 + r * 0.29im=Image.fromarray(GRAY) # numpy 转 image类im.show()

复制代码

效果如下：

正如初步设想所说，把 CNN 比较深层次的网络提取到的特征序列化，再喂给 RNN 进行分类，因为我认为这时候 CNN 提取到的特征比原始图像有更强的序列关系，也许能够改进图片分类的性能？

例如我们将第一层的特征图喂到 RNN 中

import sys
sys.path.append('..')
import torch
from torch.autograd import Variable
from torch import nn
from torch.utils.data import DataLoader
from torchvision import transforms as tfs
from torchvision.datasets import MNIST
# 定义数据
data_tf = tfs.Compose([
    tfs.ToTensor(),
    tfs.Normalize([0.5], [0.5]) # 标准化
])
train_set = MNIST('./data', train=True, transform=data_tf, download=True)
test_set = MNIST('./data', train=False, transform=data_tf, download=True)
train_data = DataLoader(train_set, 64, True, num_workers=2)
test_data = DataLoader(test_set, 128, False, num_workers=2)# 定义模型
class rnn_classify(nn.Module):
    def __init__(self, in_feature=28, hidden_feature=100, num_class=10, num_layers=2):
        super(rnn_classify, self).__init__()
        self.rnn = nn.LSTM(in_feature, hidden_feature, num_layers) # 使用两层 lstm
        self.classifier = nn.Linear(hidden_feature, num_class) # 将最后一个 rnn 的输出使用全连接得到最后的分类结果    def forward(self, x):
        '''
        x 大小为 (batch, 1, 28, 28)，所以我们需要将其转换成 RNN 的输入形式，即 (28, batch, 28)
        '''
        x = x.squeeze() # 去掉 (batch, 1, 28, 28) 中的 1，变成 (batch, 28, 28)
        x = x.permute(2, 0, 1) # 将最后一维放到第一维，变成 (28, batch, 28)
        out, _ = self.rnn(x) # 使用默认的隐藏状态，得到的 out 是 (28, batch, hidden_feature)
        out = out[-1, :, :] # 取序列中的最后一个，大小是 (batch, hidden_feature)
        out = self.classifier(out) # 得到分类结果
        return outnet = rnn_classify()
criterion = nn.CrossEntropyLoss()
optimzier = torch.optim.Adadelta(net.parameters(), 1e-1)# 开始训练
from utils import train
train(net, train_data, test_data, 10, optimzier, criterion)

复制代码

迭代 10 次准确率高达 98%，因此分类效果还是不错的。

三、不同的 RNN 细胞结构、不同的 RNN 整体结构，对分类性能有什么影响？

不同的细胞结构具有不同的门结构，对长短期记忆有不同的权重

不同的 RNN 整体结构有不同的层数与架构，对长短期记忆有不同的遗忘属性

常见 RNN 细胞总结：

BasicRNNCell--一个普通的 RNN 单元。

GRUCell--一个门控递归单元细胞。

BasicLSTMCell--一个基于递归神经网络正则化的 LSTM 单元，没有窥视孔连接或单元剪裁。

LSTMCell--一个更复杂的 LSTM 单元，允许可选的窥视孔连接和单元剪切。

MultiRNNCell--一个包装器，将多个单元组合成一个多层单元。

DropoutWrapper - -一个为单元的输入和/或输出连接添加 dropout 的包装器。

常见 RNN 整体结构:

LSTM 和 GRU，其它的还有向 GridLSTM、AttentionCell 等

这些在 tf.keras.layers.***中都可以直接调用 API

因此只需修改下面一行代码的 API 即可实现不同的 RNN 细胞结构、不同的 RNN 整体结构对分类性能的影响的实验。

self.rnn = nn.LSTM(in_feature, hidden_feature, num_layers) # API

复制代码

由于时间问题我没有运行完代码，直接附上相关资料的实验结果：

一般来说，多层结构的复杂度更高，分类性能会更好，但是产生的时间成本也会更多。

四、 nn.dynamic_rnn 输出的 final_state.h 和 output[:,-1,:]是否是相同的？

RNN 是这样一个单元：y_t, s_t = f(x_t, s_{t-1}) ，画成图的话，就是这样：

考虑 Vanilla RNN/GRU Cell（vanilla RNN 就是最普通的 RNN，对应于 TensorFlow 里的 BasicRNNCell），工作过程如下：

这时，s_t = y_t = h_t

对于 LSTM，它的循环部件其实有两部分，一个是内部 cell 的值，另一个是根据 cell 和 output gate 计算出的 hidden state，输出层只利用 hidden state 的信息，而不直接利用 cell。这样一来，LSTM 的工作过程就是：

其中真正用于循环的状态 s_t 其实是 (c_t, h_t) 组成的 tuple（就是 TensorFlow 里的 LSTMStateTuple），而输出 y_t 仅仅是 h_t（例如网络后面再接一个全连接层然后用 softmax 做分类，这个全连接层的输入仅仅是 h_t，而没有 c_t），这时就可以看到区分 RNN 的输出和状态的意义了。

如果是一个多层的 Vanilla RNN/GRU Cell，那么一种简单的抽象办法就是，把多层 Cell 当成一个整体，当成一层大的 Cell，然后原先各层之间的关系都当成这个大的 Cell 的内部计算过程/数据流动过程，这样对外而言，多层的 RNN 和单层的 RNN 接口就是一模一样的：在外部看来，多层 RNN 只是一个内部计算更复杂的单层 RNN。图示如下：

大方框表示把多层 RNN 整体视为一层大的 Cell，而里面的小方框则对应于原先的每一层 RNN。这时，如果把大方框视为一个整体，那么这个整体进行循环所需要的状态就是各层的状态组成的集合，或者说把各层的状态放在一起组成一个 tuple：s_t=(s_t^(l),s_t⁽²⁾,…, s_t^(l))而这个大的 RNN 单元的输出则只有原先的最上层 RNN 的输出，即整体的 y_t= y_t^(l)=h_t^(l)。

最后对于多层 LSTM：