程序员宝藏库：https://github.com/Jackpopc/CS-Books-Store
现如今，谈起人工智能，对于大多数人来说已经不再陌生。
而作为其中比较热门的计算机视觉，更是吸引了一大批从业者。
但是，其中绝大多部分都“不知所以然”。搭建起开发环境，照搬一段代码，就认为大功告成，但是，到底数据进入网络中发生了什么？特征是什么样的，很多人都回答不上来。
本文，就来教大家如何如何可视化 CNN 网络层的特征图。
教程
废话不多说，我们先来建立一个网络模型：
model = tf.keras.models.Sequential（[ tf.keras.layers.Conv2D（8，（3,3），激活='relu'，input_shape =（150,150,3））， tf.keras.layers.MaxPooling2D（2,2）， tf.keras.layers.Conv2D（16，（3,3），激活='relu'）， tf.keras.layers.MaxPooling2D（2,2）， tf.keras.layers.Conv2D（32，（3,3），激活='relu'）， tf.keras.layers.MaxPooling2D（2,2）， tf.keras.layers.Flatten（）， tf.keras.layers.Dense（1024，activation ='relu'）， tf.keras.layers.Dense（512，activation ='relu'）， tf.keras.layers.Dense（3，activation ='softmax'） ]）
复制代码
该模型的概括如下：
如上所示，我们具有三个卷积层，其后是 MaxPooling 层，两个全连接层和一个最终输出全连接层。
我们需要训练和拟合模型。因此，首先运行模型，然后才能得到特征图。只不过，在这里不演示这部分过程。
要生成特征图，需要用到model.layersAPI，接下来了解如何访问 CNN 中间层。
获取 CNN 网络层的名称
layer_names = [layer.name for layer in model.layers]layer_names
复制代码
我们会得到如下结果：
['conv2d', 'max_pooling2d', 'conv2d_1', 'max_pooling2d_1', 'conv2d_2', 'max_pooling2d_2', 'flatten', 'dense', 'dense_1', 'dense_2']
复制代码
获取 CNN 网络层的输出
layer_outputs = [layer.output for layer in model.layers]
复制代码
这将返回 CNN 网络层的输出对象，它们不是真正的输出，但是它们告诉我们将产生输出的函数。我们将结合这一层，输出到可视化模型中，构建可视化特征图。
[<tf.Tensor 'conv2d/Relu:0' shape=(None, 148, 148, 8) dtype=float32>, <tf.Tensor 'max_pooling2d/MaxPool:0' shape=(None, 74, 74, 8) dtype=float32>, <tf.Tensor 'conv2d_1/Relu:0' shape=(None, 72, 72, 16) dtype=float32>, <tf.Tensor 'max_pooling2d_1/MaxPool:0' shape=(None, 36, 36, 16) dtype=float32>, <tf.Tensor 'conv2d_2/Relu:0' shape=(None, 34, 34, 32) dtype=float32>, <tf.Tensor 'max_pooling2d_2/MaxPool:0' shape=(None, 17, 17, 32) dtype=float32>, <tf.Tensor 'flatten/Reshape:0' shape=(None, 9248) dtype=float32>, <tf.Tensor 'dense/Relu:0' shape=(None, 1024) dtype=float32>, <tf.Tensor 'dense_1/Relu:0' shape=(None, 512) dtype=float32>, <tf.Tensor 'dense_2/Softmax:0' shape=(None, 3) dtype=float32>]
复制代码
为了生成特征图，我们必须构建一个可视化模型，该模型以图像为输入，并用上述 layer_outputs 作为输出函数。
这里要注意的重要一点是，我们总共有 10 个输出，9 个中间输出和 1 个最终分类输出。因此，我们将有 9 个特征图。
CNN 网络层特征图可视化
feature_map_model = tf.keras.models.Model(input=model.input, output=layer_outputs)
复制代码
上面的代码汇总了我们在开始时创建的 CNN 模型的输入和输出函数。
layer_outputs 中总共有 10 个输出函数。将该图像作为输入，然后使该图像以串行方式依次通过所有这 10 个输出函数。
最后一个输出函数是模型本身的输出。因此，总共有 9 个中间输出函数，因此有 9 个中间特征图。
这意味着我们提供给 feature_map_model 的任何输入，输出将以 9 个特征图的形式呈现。
现在，我们将准备一张图像，以将其作为上述 feature_map_model 的输入：
image_path= r"path of the image from desktop or internet."img = load_img(image_path, target_size=(150, 150)) input = img_to_array(img) input = x.reshape((1,) + x.shape) input /= 255.0
复制代码
在上面的代码中，我们已将图像加载到变量“输入”中，将其转换为数组，扩展了图像的尺寸以匹配中间层的尺寸，最后，在将图像输入到层。
现在，让我们将其输入到创建的模型中：
feature_maps = feature_map_model.predict(input)
复制代码
现在已经生成了特征图，让我们检查每个输出的特征图的形状。
for layer_name, feature_map in zip(layer_names, feature_maps):print(f"The shape of the {layer_name} is =======>> {feature_map.shape}")
复制代码
这会输出中间网络层的名称以及特征层的形状：
生成特征图
我们需要生成卷积层的特征图，而不需要生成全连接层的特征图：
for layer_name, feature_map in zip(layer_names, feature_maps): if len(feature_map.shape) == 4
复制代码
每个特征图都有 n 个通道，并且在特征图形状的末尾给出该数字“ n”。这是特定图层中特征的数量。
例如。feature_map[0].shape=(1,148,148,8)。
这意味着这是一个具有 8 维的图像。因此，我们需要遍历此图像以分离其 8 张图像。
for layer_name, feature_map in zip(layer_names, feature_maps): if len(feature_map.shape) == 4 k = feature_map.shape[-1] for i in range(k): feature_image = feature_map[0, :, :, i]
复制代码
直接生成的特征图在视觉上非常暗淡，因此人眼无法正确看到。因此，我们需要对提取特征图像进行标准化。
feature_image-= feature_image.mean()feature_image/= feature_image.std ()feature_image*= 64feature_image+= 128feature_image= np.clip(x, 0, 255).astype('uint8')
复制代码
接下来，生成特征图：
for layer_name, feature_map in zip(layer_names, feature_maps): if len(feature_map.shape) == 4 k = feature_map.shape[-1] size=feature_map.shape[1] for i in range(k): feature_image = feature_map[0, :, :, i] feature_image-= feature_image.mean() feature_image/= feature_image.std () feature_image*= 64 feature_image+= 128 feature_image= np.clip(x, 0, 255).astype('uint8') image_belt[:, i * size : (i + 1) * size] = feature_image
复制代码
下一步，就是显示生成的特征图：
scale = 20. / kplt.figure( figsize=(scale * k, scale) )plt.title ( layer_name )plt.grid ( False )plt.imshow( image_belt, aspect='auto')
复制代码
原始图像：
到此为止，就把 CNN 网络特征层进行了可视化！
评论