全景视频评价数数据库：IVQAD 2017

IVQAD 2017：An Immersive Video Quality Assessment Database

2017 international conference on systems, signals and image processing (IWSSIP)

abstract:

本文提出了一个新的数据库，即IVQAD 2017，旨在用于虚拟现实环境中的沉浸式视频质量评估。视频质量评估（VQA）在视频研究领域发挥着重要作用。 如今虚拟现实技术已被广泛使用，在虚拟现实视觉系统中播放视频正变得越来越流行。 然而，VQA领域的现有研究主要集中在传统视频上。 在本文中，我们构建了包含10个原始视频和150个失真视频的数据库。 比特率，帧速率和分辨率是我们认为引起质量下降的一些因素。 所有视频都使用MPEG-4编码。 要求受试者在虚拟现实环境下评估视频，并通过计算得出平均意见得分（MOS）。 使用IVQAD 2017，研究人员可以探索分辨率，视频压缩和视频数据包丢失对沉浸式视频质量的影响。

Ⅰ introduction

质量评价一直是图像和视频处理领域的一个重要的主体。在经过很多年的努力之后，IQA已经渐渐发展成熟。VQA的发展也非常迅速。
随着虚拟现实技术的飞速发展，传统的播放平面视频渐渐地转换到通过头戴式设备播放。沉浸式视频的质量评价（IVQA）也将成为VR技术进展的重要因素。所有我们建立了一个沉浸式视频质量数据库用于未来质量评价的调查研究。该数据库由三种不同的分辨率和不同的比特率和帧率组成，评估了10个不同的场景。 因此，研究人员可以利用这个数据库来研究沉浸式视频的一系列质量评估算法。
沉浸式视频和传统视频最大的区别在于，在虚拟现实视觉系统中播放的沉浸式视频边缘存在严重失真。VQA和IVQA的主要区别在于IVQA实验需要在VR头戴式设备的环境下进行。
随着虚拟现实技术的发展，虚拟现实视觉系统的研究变得越来越重要。 视频质量评估将是其中必不可少的一部分。 到目前为止，关于传统视频质量评估的研究很多，但对虚拟现实视觉系统中的IVQA研究不多。 因此，我们为未来的IVQA提供了这个数据库，其中包含160个视频。 在我们的数据库中，有三种不同的分辨率，最高分辨率为4096×2048。沉浸式视频来自广泛的场景，这使得该数据库可以广泛应用于IVQA。
我们进行了一项实验以获得主观数据。 通过大量不同主体的实验收集的主观分数是视频质量评估的重要部分。 视频质量度量的比较研究具有由VQEG（视频质量专家组）执行的示例。 但是在我们的实验中，比较实验很难进行，因为它是在头戴式显示器下进行的。 我们的实验中有13人评估沉浸式视频。 我们在本文中的目标是为新的IVQA引入一个新的数据库IVQAD 2017。 利用该数据库，研究人员可以在虚拟现实环境中研究虚拟现实视觉系统的VQA，用于未来的研究，如视频压缩，视频处理，视频通信等。

Ⅱ experimental procedures

A. shooting and processing

在数据库中，Insta360 4K Spherical VR Video Camerawith分辨率为4096×2048，MPEG-4文件格式有10个原始视频，可用于虚拟现实视觉系统。 图1显示了我们使用的相机。 我们在虚拟现实视觉系统中看到的场景可以覆盖整个房间。 各种各样的视频场景都是在一个大学校园里拍摄的，从草坪到有人的建筑物。
视频的原始数据从相机输出，分辨率为4096×2048，帧速率为30 fps，带有音频。图2显示了Insta360 4K拍摄的原始视频的示例帧。 典型的场景包括湖泊，桥梁，网球场等。 在图中，亮度因人而异。 虽然它们在图2中看起来类似，但在虚拟现实环境中观看视频时会出现巨大差异。 这将影响结果。 因此，它说明了亮度对沉浸式视频体验的影响。 详细分析将在第3节中给出。

为了避免语音的影响，我们使用FFMPEG软件消除了所有视频的音轨。 然后将10个原始视频切成相等长度的15秒，以进行公平的视频质量评估。 为了模拟质量下降，将三种分辨率设置为4096×2048,2048×1024和1024×512。 并且在每种分辨率下，设置不同的比特率和帧速率以模拟不同的带宽要求。 详细设置如表I所示。

在我们的数据库中，我们只包括固定摄像机从各种场景拍摄的视频。 相机移动的情况太复杂了。 我们用移动相机拍摄了几个视频进行初步实验, 许多受试者表示头晕是难以忍受的。 观看通过移动相机拍摄的视频的体验很糟糕。 在这种情况下头晕很严重。 虽然使用了硬件稳定方法和软件稳定方法，但是当沉浸在虚拟现实环境中时，体验仍然很差。 受试者不满足于这种视频。
B. scoring
为了更好地理解视频分辨率，视频压缩和丢包对沉浸式视频质量的影响，我们对一组受试者进行了一系列实验。 并且所有实验都在相同的环境下进行。
我们用作虚拟现实视觉系统的设备是HTC Vive，它是一种虚拟现实头戴式显示器。 由于虚拟现实头戴式显示器是一个封闭系统，我们无法打印问卷供观众标记。 我们得到的分数只能来自测试人员的口头报分，因此非常耗时。 尽管如此，为避免其他干扰，我们必须逐一进行实验。
虽然沉浸式视频的分辨率可以是4K，但在我们的实验中是4096×2048。在虚拟现实环境中，视觉效果仍然不太令人满意。然而，为了在未来的IVQA中进行更好的研究，我们在开始实验之前给受试者播放原始沉浸式视频中。 这些视频被告知“优秀”。 然后将播放无序的视频流。
通过大量的初步实验，我们发现15秒刚好让受试者在虚拟现实头戴式显示器周围环顾整个场景。因此，序列的长度最好控制在15秒以内。此外，长时间的处于沉浸式环境将会导致眩晕，会对实验结果产生影响。虚拟现实环境中存在的眩晕主要来自两个方面。对于固定摄像头拍摄的视频，它主要来自疲劳，因为虚拟现实头戴式显示器太重而视野太窄。对于通过移动相机拍摄的视频，它主要来自虚拟现实晕车，有时会长时间引起严重的头晕。然而，我们的实验中的头晕很轻微，我们仍然需要考虑它。 由于这种情况，受试者在观看视频8分钟后会休息，这是由受试者的平均不适时间提供的。

Ⅲ analysis and discussion

A. analysing data and evaluating immersive video quality

由于实验是在虚拟现实头戴式显示器下进行的，因此对比度测试很困难且非常耗时。 因此，我们用于分析数据的模型是MOS方法。
MOS 的计算方法如下：

其中，N代表受试者的数量，mij’表示主体i给序列j的打分。
在计算IVQAD 2017中的MOS之前，有一个重要步骤：删除异常值。 有时，一些受试者会给出一个远离平均值的分数。 并且应该删除这些异常值。我们使用了3σ原则，σ的计算如下：


fig4为IVQA2017数据集的MOS直方图，在MOS的结果中，得分主要集中在得分“2”，“3”和“4”中，并且更多地集中在“2”和“3”上。 得分“1”到“5”的视频数量分别为166,617,691,352和254。

所有的MOS都绘制在图5中，有10个场景。 不同场景的MOS用不同的颜色表达。
为了分析IVQA，我们选择MOS场景样本。 图6显示了场景2和场景6中在桥和操场上拍摄的所有视频的MOS。 x轴和y轴的含义与图5相同。很明显，图中有五组减少列。 五组减少表示随着分辨率的降低，IVQA的MOS逐渐降低。 这意味着随着分辨率的降低，沉浸式视频的质量越来越差。 比较场景2和场景6，分别用绿色和黄色着色，场景2的MOS在每种情况下都大于场景6的MOS。 场景2在下午拍摄，场景6在黄昏拍摄。 场景2中的亮度大于场景6中的亮度。因此，它说明亮度对沉浸式视频的体验有影响。

图7来自图6的场景2，并且为了更好的比较而列出。 在图7中，很明显，随着比特率和帧速率的降低，沉浸式视频质量下降。 另外，我们可以看出，（a）（c）和（e）的降低程度小于（b）（d）和（f）的降低程度，因为前者的x轴减小程度大于后者。 也就是说，帧速率对IVQA的影响大于比特率。

结合图6，我们可以得出结论，分辨率和帧率对IVQA的影响都比比特率的影响大。 对于分辨率和帧率之间的影响力，在我们的实验后询问受试者，结果因人而异。
有很多因素会影响IVQA，例如分辨率，帧速率，比特率，甚至场景的亮暗，背景等等。 影响的强度是多种多样的，分辨率和帧率对IVQA的影响比其他影响更大。 因此，提升相机的分辨率和减少数据包丢失将是未来研究的重要方面。 尽管移动摄像机拍摄的视频尚未涉及，但晕动病仍然是影响IVQA的重要因素。

IV. conclusion

在本文中，我们构建了一个沉浸式视频质量评估数据库IVQAD 2017.该数据库包含来自10个不同场景的固定摄像机捕获的160个视频流，每个场景包括原始视频和15个失真视频。 主观评估是在考虑观看时间，休息时间，评分方法等的情况下进行的。 MOS来自13个人，然后在MOS的基础上进行了一些观察和分析。 我们在本文中的目标是为新的IVQA建立一个新的数据库IVQAD 2017。 越来越多的相关VQA方法可以验证它们的有效性，一些与IVQA相关的新算法也可以在我们的数据库上进行。