图像质量评估:BRISQUE

拍照很容易,但拍摄高质量的照片很难。它需要良好的构图和照明。合适的镜头和卓越的设备可以产生很大的不同。但最重要的是,高质量的照片需要良好的品味和判断力。你需要一个专家的眼睛。

在这篇文章中,我们将学习一种预测图像质量得分的算法。

什么是图像质量评估(IQA)?

图像质量评估(IQA)算法将任意图像作为输入,并输出质量分数作为输出。有三种类型的IQA:

  1. 全参考IQA: 有一个非失真的参考图像来测量失真图像的质量,可用于评估图像压缩算法的质量。
  2. 降低参考IQA: 没有参考图像,而是具有一些选择性信息的图像(例如水印图像),用于比较和测量失真图像的质量。
  3. 目标盲目或无参考IQA: 算法获得的唯一输入是要测量其质量的图像。

无参考IQA

在这篇文章中,我们将讨论一个无参考IQA指标,称为盲/无参考图像空间质量评估器(BRISQUE)。在我们深入理论之前,让我们先了解两个基本术语:

  1. 扭曲图像:顾名思义,扭曲图像是原始图像的一种版本,它会因模糊,噪声,水印,颜色变换,几何变换等而失真。

     

    图像质量评估:BRISQUE

    图1 TID 2008数据库中使用的扭曲

  2. 自然图像:在没有后期处理的情况下由相机直接拍摄的图像。这是自然图像和失真图像的示例。

     

    图像质量评估:BRISQUE

    图2自然图像(左)和噪声图像(失真,右)

可以想象,图像是否扭曲或自然是不是很清晰。例如,当使用运动模糊智能地渲染视频时,由于故意模糊,算法可能会对其质量感到困惑。因此,必须在正确的背景下使用此质量测量。

图像质量评估(IQA)数据集

图像质量评估:BRISQUE

图3 TID2008图像质量得分缩放(0到100):得分越小,主观质量越好。

质量是一个主观问题。为了训练好的模型,需要为获取图像的质量得分。

谁为这些训练图像分配了质量得分?当然是人类。但我们不能仅仅依靠一个人的意见。因此,我们需要几个人的意见,并为图像分配0(最佳)和100(最差)之间的平均分数。该分数在学术文献中称为平均质量分数

TID2008的数据集就是一个这样的训练集。

盲/无参考图像空间质量评估器(BRISQUE)

在本节中,将描述用于无参考IQA的BRISQUE算法所需的步骤。

图5显示了计算BRISQUE所涉及的步骤。

图像质量评估:BRISQUE

图4使用BRISQUE模型计算图像质量得分的步骤

 

第1步:提取自然场景统计(NSS)

自然图像的像素强度的分布不同于失真图像的像素强度的分布。当我们归一化像素强度并计算这些归一化强度上的分布时,这种分布差异更加明显。特别地,在归一化之后,自然图像的像素强度遵循高斯分布(贝尔曲线),而不自然或失真图像的像素强度不遵循高斯分布(贝尔曲线)。

在下图中显示了这一点。

图像质量评估:BRISQUE

图5左侧:显示没有添加人工效果的自然图像,符合高斯分布。右图:人工图像,不适合相同的分布。

 

平均取代对比度标准化(MSCN)

有几种不同的方法来规范化图像。一种这样的归一化称为平均取代对比度归一化(MSCN)。下图显示了如何计算MSCN系数。

图像质量评估:BRISQUE

图6计算MSCN系数的步骤

 

这可以看作如下:

图像质量评估:BRISQUE

图7 MSCN系数的计算

 

为了计算MSCN系数,将图像质量评估:BRISQUE像素处的图像强度图像质量评估:BRISQUE变换为亮度图像质量评估:BRISQUE

(1) 图像质量评估:BRISQUE

其中图像质量评估:BRISQUE(M和N分别是高度和宽度)。图像质量评估:BRISQUE图像质量评估:BRISQUE分别为局部平均和局部方差。局部平均(图像质量评估:BRISQUE)只是原始图像的高斯模糊,而局部方差(图像质量评估:BRISQUE)是原始图像和局部平均差异的平方的高斯模糊图像质量评估:BRISQUE。在下面的等式中图像质量评估:BRISQUE是高斯模糊窗口函数。

(2) 图像质量评估:BRISQUE

 

MSCN为像素强度提供了良好的归一化。然而,自然与失真图像的差异不仅限于像素强度分布,还包括相邻像素之间的关系。

为了捕获相邻像素的关系,使用四个方向相邻元素的乘积,即:水平(H),垂直(V),左 - 对角线(D1),右 - 对角线(D2)。

(3) 图像质量评估:BRISQUE

 

第2步:计算特征向量

到目前为止,我们已经从原始图像中获得了5个参数 - 1个MSCN参数和4个相邻元素乘积参数(水平,垂直,左对角线,右对角线)。

接下来,我们将使用这5个参数来计算尺寸为36×1的特征向量。请注意,原始输入图像可以是任何尺寸(宽度/高度),但特征向量的大小始终为36×1。

通过将MSCN参数拟合到广义高斯分布(GGD)来计算36×1特征向量的前两个元素。GGD有两个参数 - 一个用于形状,一个用于方差。

接下来,非对称广义高斯分布(AGGD)适合于4个相邻元素乘积参数中的每一个。AGGD是广义高斯拟合(GGD)的不对称形式。它有四个参数 - 形状,均值,左方差和右方差。由于有4个成对产品图像,我们最终得到16个值。

因此,我们最终得到了18个特征向量元素。将图像缩小到原始尺寸的一半,并重复相同的过程以获得18个新数字,使总数达到36个数字。

这在下表中总结。

特征范围 功能描述 程序
1 - 2 形状和方差。 GGD拟合MSCN参数。
3 - 6 形状,均值,左方差,右方差 AGGD拟合水平参数
7 - 10 形状,均值,左方差,右方差 AGGD拟合垂直参数
11 - 14 形状,均值,左方差,右方差 AGGD拟合对角线(左)参数
15-18 形状,均值,左方差,右方差 AGGD拟合对角线(右)参数

第3步:预测图像质量得分

在典型的机器学习应用程序中,首先将图像转换为特征向量。然后,将训练数据集中的所有图像的特征向量和输出(质量得分)放入支持向量机(SVM)中进行训练。

使用LIBSVM加载该36个特征参数及质量得分进行训练,训练过程中,特征向量首先被缩放到-1到1,训练得出的模型用于预测图像质量。

经过训练模型预测,可以得出以下每种失真的最终质量得分:

原始图像 JPEG2K压缩 重压缩 高斯噪声 中位数模糊
图像质量评估:BRISQUE 图像质量评估:BRISQUE 图像质量评估:BRISQUE 图像质量评估:BRISQUE 图像质量评估:BRISQUE
26.8286 30.7417 33.0692 79.8751 72.7044