Blind Image Quality Assessment via Vector Regression and Object Oriented Pooling

摘要

并不像其他的质量评价算法那样，将提取的特征直接映射为质量分数，提出的向量回归框架为输入图像产生一个置信分数向量。我们探讨了质量评估中的不确定性因素，设计了信念分数来衡量图像的可信度，并将其分配到相应的质量等级，除此之外，提出了一个面向对象的池策略，通过融合图像内容的语义信息来进一步提高性能。

介绍

在向量回归阶段，引入了多个质量等级并且使用一个置信分数向量来测量这些一个输入图像属于这些等级的可信度。在实现时，向量回归是由卷积神经网络实现的，由CNN产生的置信分数图进一步被转换成用于全局分数池化的局部分数图，在分数池化阶段，提出了一个面向对象的池化方式来将局部分数图转化为图像级的质量分数，因为物体更可能被注意到，因此在池化时含有物体的区域会分布更大的权重。
本算法可概括为以下三个方面

• 探索了质量评价中的不确定性并且引入了置信分数向量来计算一个图像属于相应质量等级的概率。
• 提出的质量回归网络是一个开放的框架，不同的CNN将其融入进去都可以提高性能，不论结构如何。
• 面向对象的池化策略被提出来进一步提高全局分数预测时的性能。

向量回归的原理

不同的人观看图像时会产生不同的质量分数，这里为了描述这种不确定性，引入了概率分布来描述不同人描述质量分可能性。连续数据的离散化是主观质量评价中常用的方法，这里采用这种方法，将质量分数分为若干个区间，那么Pk表示图像属于某个区间的概率，根据图像质量分数的分布情况可以很容易的求出该概率，但是由于数据集的缘故，计算Pk是十分困难的，同时发现Pk可以从图像分数到区间中间值的距离求出，也就是说，距离越小代表，属于该区间的概率越大。
这里引入了置信分数向量来描述图像属于不同质量等级的概率，置信分数的计算如下

|Sk|越小，表示图像始于区间k的概率越大，因此这里提出了向量回归模型，和以前的使用图像质量分数进行回归不同，这里采用图像的置信分数进行网络的回归训练。

基于向量回归和面向对象池化的BIQA

基于卷积神经网络的向量回归

向量回归模型

网络结构和预处理
网络结构如上图所示，只是在训练时在最后的池化层后面加上三个全连接层，前两个大小为512，最后一层包含K个通道，代表K个质量等级，在图像预处理时，使用去均值除方差的归一化处理。
训练数据的生成
对图像进行分块处理，并且为每个图像块分配一个与原图像相同的分数，这样就可以求出图像块的置信分数，之后进行网络的训练。当训练图像含有非同质区域时，这种数据增强的方法就不恰当，因此在这里纠正了该方法，这里对图像进行了筛选操作，对每个图像块进行全参考质量分数预测，当预测分数和原图像的分数之间相差大于一个阈值时，就将该块剔除。
损失函数
训练阶段采用最小均方根误差进行网络的回归训练，同时采用L2范数来正则化，防止过拟合。
局部分数图的生成
测试阶段，使用全卷积网络代替全连接网络，这时输入网络中的不再是图像块，而是归一化处理后的整张图像。这样网络得出多个置信分数图。这些图可以看作一系列由原始网路生成的置信分数向量。从这五个置信图中选出最小的两个绝对均值的置信分数图，来计算局部分数图。

其中Lk是局部分数图，这两个均含有最小的绝对均值。选择这两个是为了减少数据的冗余，选择的这两个置信分数图是和测试图像相关性最大的。

面向对象池化

研究发现将语义信息融合到该方法中可以进一步提高算法性能。对原图像进行目标检测处理，随机选择目标的掩码，属于该区域的像素值记为1，不属于的记为0，这样计算F，将F和局部置信分数进行点乘，得出第m个质量分数，最后将其进行相加平均得到最终的图像质量分数。
选择的第m个质量分数为

将所有的M个质量分数求和平均得到最终图像水平的质量分数。