Optimizing Subjective Quality in HEVC-MSP: An Approximate Closed-form Image Compression Approach

HEVC作为最新的视频编码标准，在图像压缩方面实现了最佳性能。 在此基础上，我们提出了一种新的方法来优化基于HEVC的图像压缩的主观质量。 具体地，建立比特分配公式以优化主观质量，同时限制比特率。 然后，我们提出了一种递归泰勒展开方法，以快速求解具有近似闭合形式解的这种公式。 实验结果表明我们的方法具有优越的性能，与用于人脸图像压缩的最先进的HEVC-MSP相比，BD率节省约40％。

如今，多媒体应用程序，如Facebook和Twitter，正在成为数百万人日常生活中不可或缺的组成部分，导致大数据爆炸式增长。其中，图像占重要的一部分，因此对有限的通信带宽提出了巨大的挑战。已经提出了一组图像压缩标准来压缩图像数据，例如JPEG 2000，JPEG XR和WebP。受益于最近成功的高效视频编码（HEVC）[1]，HEVC主静态图像（HEVC-MSP）轮廓[2]在所有最先进的图像压缩标准中实现了最佳[2]。 。然而，包括HEVC-MSP在内的现有标准主要集中在利用各种技术去除统计冗余[3]。进一步减少统计冗余可能有助于提高编码效率，但代价是计算复杂度极高。感谢人类视觉系统（HVS），图像中存在可以进一步利用的感知冗余[4]。许多正在进行的模仿HVS的方法已经在感知图像压缩方面有所改进。从HVS开发的特征可以主要分为两类[3]：视觉灵敏度和视觉注意力。相应地，现有方法主要涉及：I，在保持期望的主观质量（视觉灵敏度）的同时减少比特;二，质量改进受到比特率的限制（视觉注意）。
对于I，一个常用的HVS特征是明显的差异（JND）。许多方法[5] [6] [7] [8]结合JND来保存比特，而压缩图像保持几乎不变或期望的主观质量。例如，刘等人。 [8]采用JND和空间和频谱量化误差来估计感知失真。然后，通过迭代以达到期望的失真，可以实现JPEG 2000的最小比特。然而，基于JND的方法旨在以给定的主观质量保存一些比特率，并且它们难以满足比特率约束。对于II，迎合HVS的视觉注意，大多数方法[9] [10] [11] [12]被开发用于将相对更多的比特排列到感兴趣区域（ROI）[3]以获得更好的主观质量。例如，在[12]的工作中，通过维持ROI中的DWT系数来实现感知图像压缩，同时减少非ROI中的一些系数。然而，非ROI中的极低质量也可能影响整个图像质量。如图1所示。因此，从非ROI“移动”到ROI的位数对于提高主观质量至关重要。一种有效的方法是优化主观质量，这在几项工作中得到了考虑[13] [14]。然而，在比特率和感知失真度量之间建立闭合形式关系是困难的[15]，导致比特分配期间的次优结果。由于最先进的HEVC-MSP包含许多精密组件，建立这种关系更加棘手。据我们所知，存在很少的比特分配工作以通过比特约束来优化主观质量，尤其是对于HEVC-MSP。
因此，我们在本文中提出了一种新的比特分配方法来优化基于HEVC的图像压缩的主观质量。正如最新研究[16]所指出的，信息内容权重峰值信噪比（IW-PSNR）简单地将像素显着性与均方误差（MSE）相结合，有效地保持了高相关性。主观质量。因此，我们在本文中应用IW-PSNR来模拟主观质量。然后，我们提出了一种比特分配公式，以在给定的比特率下优化IW-PSNR。不幸的是，获得该配方的封闭形式解决方案是难以处理的。然后，提出递归泰勒展开（RTE）来获得近似闭合形式的解。此外，为了处理目标和实际位之间的不匹配，我们开发了一个最佳位重新分配过程，以在保持优化的同时精确控制比特率。正如我们的分析所证实的那样，我们的方法引入的复杂性很小。

2 Optimizing subjective quality

在本节中，我们主要关注优化主观质量。为此，第2.1节首先将R-λ速率控制（RC）方法[17]移植到HEVC-MSP中。基于此，第2.2节提出了一个优化公式，第2.3节用近似的闭式解决方案解决了这个公式。 2.4节开发了一种最佳位重新分配方法，以解决目标位和实际位之间不匹配的问题。
2.1 HEVC-MSP的速率控制实施
最新的R-λ方法在[17]中针对HEVC中的RC提出。由于我们专注于将RC应用于图像压缩，因此这里主要讨论一个视频帧中的CTU级RC。具体来说，对于HEVC，已经证实双曲线模型可以更好地拟合速率 - 失真（R-D）关系[17]。基于此，在最新的RC方法中利用R-λ模型进行比特分配，其中λ是R-D关系的斜率[18]。假设di，ri和λi表示第i个CTU的失真，比特和R-D斜率，则R-D关系和R-λ模型表示如下，

 其中ci和ki是反映第i个CTU内容的常数。在R-λ方法[17]中，首先根据预测的平均绝对差（MAD）分配ri，然后用（1）获得其对应的λi。通过采用λi和QPi之间的拟合关系，可以产生帧内所有CTU的QP，从而在HEVC中实现RC。有关更多详细信息，请参阅[17]。
然而，当编码HEVCMSP的当前CTU时，不能获得ci和ki。因此，很难直接将R-λRC应用于HEVC-MSP。为了预测图像内容，Karczewicz等人。 [19]提出对HEVC-MSP的R-λRC采用具有常数ci和ki的绝对变换差（STAD）之和。尽管SATD可以反映纹理复杂性，但它在表示图像内容方面不如ci和ki。因此，这导致不准确的R-D关系和编码效率的降低。
为了避免上述问题，我们采用预处理过程来计算ci和ki。在预压缩之后，可以为第i个CTU获得预编码的失真，比特和λ，其被表示为¯di，¯ri和¯λi。然后，在编码第i个CTU之前，可以用（1）估计RC相关参数ci和ki：

这样，利用ci和ki，可以在HEVC-MSP中有效地实现R-λ方法的RC [17]。这里，我们的方法开发了一种快速预压缩过程，其设置了最大编码单元（CU） ）所有预压缩CTU的深度为0。我们已经证实，我们开发的预压缩过程会使计算复杂度增加10％的负担，这比基于SATD的方法多出6％[19]。
2.2主观质量的优化配方
本文的主要目标是优化基于HEVC的图像压缩的主观质量。在这里，主观质量由IW-PSNR近似[16]，因为[16]表明IW-PSNR与主观质量高度相关。通常，IW-PSNR通过其对应的显着性值来加权每个像素的失真。这里，我们将di和wi表示为第i个CTU内的像素方向失真（MSE）和显着性值的总和。然后，在di和wi的基础上，在给定目标比特率R下IW-PSNR的最大化可以通过以下公式表示：

 

通过使用拉格朗日乘数λ和R-D成本J [18]，可以将（3）转为最小化J.然后，通过将其导数设置为零，可以求解最小J：

 

 

 注意，通过我们的预压缩过程，可以提前获得ci和ki。 因此，能够在编码图像之前计算ai和bi。 然后，一旦λ在（5）中已知，就可以实现最小J。为了计算λ，我们可以使用比特率约束，公式为Mi = 1 ri = R.换句话说，我们需要找到“ 适当的“λby，

 

在求解（6）以找到“适当的”λ之后，目标比特满足比特率约束，同时享受压缩图像的最小J和最大IW-PSNR。 不幸的是，由于ai和bi在不同的CTU之间变化，（6）不能通过封闭形式的解决方案来解决。 因此，在下一节中，提出了RTE方法以提供针对（6）的近似闭合形式的解决方案。

在本文中，我们提出了一种新的基于HEVC的图像压缩方法，该方法优化了最新HEVC-MSP平台的主观质量。 受益于最先进的显着性检测，我们开发了一种优化主观质量的配方，在吸引注意力的地方保持适当的高质量。 然后，提出RTE方法来解决这样的公式，然后进行比特分配和重新分配过程。 结果，与用于图像压缩的现有技术HEVC-MSP相比，主观质量可以得到显着改善。 我们的实验结果验证了人脸图像压缩方面的显着改进。当然，我们的方法不仅限于人脸图像压缩，因为通用图像的其他显着性检测方法可以很容易地嵌入我们的方法中。