AI 简报 - 图像质量评价指标 -LPIPS
1. 意图
如何判断两幅图相似度?
因为图像是高纬度的数据,传统方法中通过像素级别的 PSNR 和 SSIM 来量化两幅图的相似度,但是对于图像来说,人类感知和量化指标存在一定偏差。如下图所示 PSNR 和 SSIM 对于模糊图像不敏感。
这篇文章(The Unreasonable Effectiveness of Deep Features as a Perceptual Metric)给出一种基于人类感知的图像质量评价指标 Learned Perceptual Image Patch Similarity(LPIPS)
2. LPIPS
LPIPS 度量指标是建立在一个 484K 的人类判别的感知数据集(Berkeley-Adobe Perceptual Patch Similarity(BAPPS) Dataset)基础上构建 CNN 网络来构建度量学习。
在构建 BAPPS 数据集时,对参考图进行失真操作,然后人类根据参考图和失真图进行评分。这里涉及到两个部分:如何失真和评分标准。
失真操作包括传统和 CNN 的失真,如下图所示
人为评价标准有两个:
2AFC(two alternative forced choice):给出两种不同失真操作,挑选出和参考图(原始图)最相近的图
Just noticeable differences (JND):给出两张图,只判别是否是相同还是不同
有了数据集后,就可以训练 CNN 模型,整个过程如下图所示;特征提取网络结构可以是 VGG,AlexNet,SqueezeNet 等。
如上图所示,将两个比较对象输入网络得到网络的每个特征层,然后进行差值计算,再赋予不同可学习的权重,最后求平均得到评价指标值。接着训练一个简单的网络来学习两个评价指标与人为评价指标差距。
在训练过程中,特征提取网络可以使用预训练的模型,固定权重,只学习特征权重;也可以把预训练模型的权重作为初始值,学习全部权重;也可以重新训练整个流程。
3. 使用
文章提供源代码和预训练模型可以直接对两幅图进行相似性判断,测试还是比较符合人类感知,lpips 也作为许多图片质量评价的标准。
github: https://www.github.com/richzhang/PerceptualSimilarity
版权声明: 本文为 InfoQ 作者【AIWeker-人工智能微客】的原创文章。
原文链接:【http://xie.infoq.cn/article/4acb38c22c061591c8f5cd903】。文章转载请联系作者。
评论