A comparative review of tone-mapping algorithms for high dynamic range video（高动态范围视频色调映射算法的比较研究）（二）
研读论文A comparative review of tone-mapping algorithms for high dynamic range video（高动态范围视频色调映射算法的比较研究）（二）
目录
5. Video tone-mapping
在本节中，我们将介绍与静态HDR图像相比，HDR视频的色调映射的一些主要差异。 本节以视频TMO的分类准则作为结束。在本报告中，我们基于许多概念对这些内容进行了讨论，它们被用于对第6节中描述的视频TMO进行分类。
HDR视频中一系列帧的色调映射在很多方面与单个静态图像的处理有所不同。最明显的差异是由于需要维护的帧之间的相关性。 如果不仔细考虑时间一致性，会引入闪烁和其他伪像，由于HVS响应时间变化的敏感机制，甚至可能会出现一点中断[dLD58，Gre69]。 效率高，因为需要处理大量帧。 此外，在处理摄像机捕获的HDR图像时，由于单个图像和视频序列的捕获过程不同，材质本身也明显不同。 这些差异要求单独考虑，以便在所有可能的情况下获得高质量的音调映射。
5.1.背景
尽管HDR视频捕获直到2010年代初才完全成熟，但早在15年前就提出了考虑随时间推移而适应的第一个视频映射算法[FPSG96]。但是，在许多具有显式时间模型的早期方法中，时域考虑的主要目的是为了获得HVS适应机制的完整模型或者提供用于在计算机生成的场景中进行交互式演练的方法。由于缺乏高质量的摄像机捕获的HDR视频，因此很难全面评估新视频色调映射运营商的性能。在许多情况下，只能通过CGI，在静态HDR全景中平移或通过使用交替照明捕获静态场景来创建唯一可用于测试的材料。一些示例还包括用于录制HDR视频的定制技术和系统。然而，随着专用HDR摄像机的出现，有可能彻底测试现有算法。从我们先前的研究中的调查和评估中，我们发现许多经过评估的操作员要么患有假象，要么缺乏对比度和细节再现能力。为响应新HDR摄像机的引入，在2010年代，对视频色调映射的研究更加集中于解决此类材料的色调映射的特定问题。尽管材料可能会遇到特殊挑战，但主要目标是实现高质量的色调映射。
5.2.时间相干性
Boitard等人提出了可能的颞骨伪影映射的分类。 其中包括抖动，时间对立对象不连贯等伪影。我们着重介绍全局和局部的抖动和重影伪影，因为它们可以说是最突出的一致性问题。 对于人类观察者而言，涉及时间对比度和物体不连贯性的其他伪像更自然。 我们会适应当前的照明情况，因此只要变化是平滑的，就可以接受对比度和物体亮度的变化。 对于不同的非相干定义的彻底处理，我们参考Boitard等人的工作。
如果映射V：L→T在任何情况下都取决于图像内容，即V = V（Ls;φ（L）），则可能会引起时间伪像。用于内容感知的许多测量或图像统计量φ（L） 音调曲线的公式可能会在帧之间快速变化，从而导致音调曲线的非平滑变化。 这些变化被认为是最终色调映射中的闪烁伪影。
在全局处理的情况下，对所有像素使用相同的色调曲线（公式4），可以通过使用某些内核Gσ随时间推移对图像统计数据进行低通滤波来实现帧之间的平滑变化。
但是，此过滤器响应会受到将来帧的影响，这可能会导致时间轴不一致。 更准确地说，色调映射可以在实际发生变化之前就开始对照明的变化做出响应。 一个更明智的选择是仅过滤过去的帧，例如 使用指数衰减的内核，表示泄漏的积分器。 可以通过使用混合值α在当前样本与先前样本之间进行及时混合，以最简单的形式制定公式。
对于等式8的局部音调映射运算符，情况更为复杂。 如果使用某些局部图像描述ξξξs（L）进行局部处理时，如果不精心设计具有鲁棒的统计信息，则可能导致图像中的局部快速变化。 在每个像素级别上直接使用公式10和11中的时间滤波过程会导致重影伪影。 另一种方法是对最终的色调映射值Ts =（Gσ∗ l）s进行低通滤波，这可以以引入一些运动模糊为代价来帮助改善时间相干性和噪声水平。
为了随时间执行每个像素的过滤而没有运动模糊的副作用，可以使用边缘停止过滤器[BM05]将局部过滤器内核限制在较大的时间梯度上，例如。 等式17。但是，这是以有限的过滤器或不过滤接近较大的时间梯度为代价的。
通过自然补偿的拓朴像素过滤以补偿运动补偿的时间内核，从而有效地沿时域中的运动路径进行过滤。 如果运动估计正确，则可以在时域中在均匀区域和接近时间边缘处进行滤波，并且在不引入运动模糊的情况下进行滤波。 但是，运动场并非在所有情况下都被定义，例如 框之间被遮挡的区域。 同样，在其他情况下，估计可能会失败。 这些问题会导致伪像，或者必须在时域的支持方面限制筛选。 用于色调映射的运动补偿时间滤波的例子包括Lee和Kim的方法[LK07]，利用块匹配来获取运动矢量，以及Aydinetal。[ASC * 14]描述的框架，该框架使用光学流估计进行滤波。 有关更多信息，请参见第6节，尤其是公式18和21。
用上述的时间过滤变体，可以将现有的静态图像色调映射运算符扩展为适用于HDR视频。这也是检查文献时的常用方法，在文献中已使用了一系列不同的静态算符。摄影TMO [RSSF02]是最常用的一种，它已在许多变体中进行了时间处理。用于保持时间上的一致性的另一种方法是考虑时间方面的后处理步骤，该步骤适用于任何静态音调映射方法。这意味着色调映射过程被视为黑匣子，目的是通过一些全局或局部像素操作来施加时间一致性。为了减轻全局闪烁伪像，一种可能性是分析每帧的平均值并限制随时间的变化，或与原始HDR序列进行比较。但是，通过对每个帧应用单独的缩放，此类方法仅在全局级别上起作用。假定所有时间不相干性只能归因于全局图像亮度的变化。更加困难的情况例如是时间上不连贯的对比变化和局部不连贯。
还提出了一些用于在局部水平上实现时间相干性的后处理方法，这些方法主要依赖于光学流估计的每个像素运动场。 这些都是为处理各种不同的视频操作而制定的，当特定操作未知时，这可能是缓解相干问题的好选择。 但是，作为一种可行的视频色调映射解决方案，生成时间无关的结果，然后尝试在后处理步骤中克服这些问题，这是违反直觉的。 在整个音调映射管道中保持局部连贯始终将更加高效。
5.3.噪声可见性
HDR视频捕获过程最严重的影响之一是增加了相机噪声，尤其是在较暗的场景中。 为了捕获动态场景，限制了曝光时间。 因此，为了在捕获的亮度范围内合并阴影和暗区，需要将传感器增益设置得较高，从而导致传感器噪声增加。 尽管噪声可能在原始视频序列中是看不见的，但可以通过色调映射过程轻松地将其显示出来，如图5所示。这可以从大多数色调曲线所经历的非线性中理解，这会降低亮度 亮度像素的数量，而暗像素则相反，从而导致暗区域中的相对噪声水平增加。
可以应用去噪算法以减轻图像噪声的问题。 如果将每个像素的滤波过程用于在色调映射中施加时间相干性，则某些降噪也会带来积极的副作用。 然而，这以增加的计算成本为代价，并且难以在不引入伪影的情况下去除所有噪声。 同样，如果色调曲线分配了暗像素亮度的显着增加，则不可避免地会显示出一些残留的噪声或降噪伪像。
为了确保从色调映射中看不到图像噪声，可以基于对噪声特性的了解明确控制色调曲线的形状。 这样，噪声被隐藏在最终色调映射的较暗区域内。 该方法也可以与去噪算法结合，以便能够对暗图像色调进行更大的处理。
图5:在HDR输入图像中人眼看不见的噪声，因此在HVS对比度可见性阈值以下的噪声，在色调映射过程中可能被推到阈值以上。
5.4.视频TMOS的分类
我们使用前面几节中描述的概念来公式化视频TMO的一般分类。这包括音调曲线的类型，处理，意图和时间过滤器。 此外，我们在计算复杂性方面进行了分类补充。 这是由于与图像操作相比，所涉及的计算量增加。 由于视频序列通常每秒包含约25-30帧，因此在调整色调映射的参数时，交互式或实时性能会使周转时间的差异更大。
这些类别的决定如下:
1.音调曲线：用于执行音调映射的基础转换函数。在第六节中，TMOsin使用以下函数之一：线性，对数/指数，S形/ s形或基于直方图。另外，一些运算符在渐变域中执行映射。
2.处理：全局TMO使用图像的所有像素的同调曲线，而局部TMO在空间上改变功能。
3.目的：色调映射的目的是根据：视觉系统模拟器（VSS），最佳主观质量（BSQ）运算符和场景再现（SRP）运算符。
4.时间滤波器：通过在一段时间内对某些色调映射参数进行滤波，将时间适应滤波器应用于全局级别，或者在局部级别按像素计算。
5.速度：TMO的计算速度能够产生出色的，交互式的或实时的性能。这些是根据特定TMO执行的计算的复杂性粗略估算的。实时性能在此处定义为高于20帧/秒，而交互式则是TMO大致能够处理多于几帧/秒的时间。但是，帧速率在很大程度上取决于图像分辨率和所使用的硬件，因此分类是近似的。
6. 视频色调映射算法
在本节中，我们描述了现有的HDR视频色调映射。 表1中使用5.4节中的分类列出了所有运算符。 此外，对于运营商的子集，该表还包括根据四个不同标准估算的性能。 已按照第7节中的描述进行了测量。
在我们对视频色调映射文献的回顾中，我们发现以下色调映射运算符对如何处理时态方面具有独有的组件：视觉适应性TMO， 作为具有时间自适应机制的音调映射运算符的第一个示例，Ferwerda等人。利用一系列心理物理实验中的数据来建立视觉反应模型。该方法基于阈值-强度（tvi）函数，该函数源自在整个视觉范围（暗视和明视）上检测阈值的实验。之前发布的有关颜色外观变化（光谱敏感性），视敏度变化（分辨空间细节的能力），过照度，适应时间（检测阈值在光和暗适应中的阈值）的数据得到了补充。然后在实验数据上建立计算模型，以预测HVS在可见性，颜色外观和场景特征清晰度方面的行为。该预测是在给定的背景亮度下进行的，并且是随着时间的推移而做出的。该模型使用Ward [War94a]的概念，即在色调映射之前和之后仅匹配显着差异（JND）。但是，匹配是分别针对杆和圆锥体执行的，并且添加了其他功能以解决视敏度和随时间变化的问题。
交互式漫游TMO，Durand和Dorsey [DD00]：Durand设计了一种用于计算机生成的漫游的交互式色调映射的方法。 因此，TMO专注于实现交互性。 为了适应在线渲染引擎，它使用两次通过方法。 第一步，在对数域中执行降采样的低分辨率渲染，以确定适应级别。 在第二步中使用它执行渲染和适当的色调映射。 操作员基于Ferwerda等人的工作。 [FPSG96]，但具有扩展功能，例如用于观看夜景和色彩适应的蓝移。 使用基于Adelson [Ade82]和Hayayetal。[HBH87]的数据的指数滤光器进行光适应。通过随时间过滤每个通道的适应水平，对色适应进行建模。 最后，模拟起火，并以与视觉适应性TMO 中相同的方式对视力损失进行建模。
时间适应性TMO，Pattanaik等。 [PTYG00]：Pattanaik等。 目前的HVS时间适应机制的有效建模模型。 它基于Hunt [Hun95]进行的心理-身体测量数据。 使用适应模型和外观模型，可以模拟图像的响应。 随后，这些之后是逆外观和适应模型，以便将响应映射到显示设备。 在适应模型中，使用S形函数对圆锥和杆分别计算静态响应（方程5）。使用指数平滑滤波器对时间进行自适应建模，并根据Crawford [Cra37]的数据进行衰减。 数据大致与Adelson [Ade82]和Hayhoe等人的测量结果一致。 [HBH87]。 此外，还包括与时间有关的颜料漂白因素。在棒和锥系统中，总共使用了四个过滤器，用于神经和光化学机理。
时间接触TMO，Kang等。 [KUWS03]：Kang等。 提出了一种通过在帧与帧之间临时改变曝光时间来捕获HDR视频的技术。 为了重建HDR视频，使用光学流对帧进行插值，以在每个帧中提供两次不同的曝光。 为了显示重建的视频，将时间过滤过程添加到摄影TMO [RSSF02]。 照片的色调曲线
图形SMO使用S型映射以下列形式表示：
时间接触TMO，Kang等。 [KUWS03]：Kang等。 提出了一种通过在帧与帧之间临时改变曝光时间来捕获HDR视频的技术。 为了重建HDR视频，使用光学流对帧进行插值，以在每个帧中提供两次不同的曝光。 为了显示重建的视频，将时间过滤过程添加到摄影TMO [RSSF02]。 照片的色调曲线
图形SMO使用S型映射以下列形式表示：
在此，s遍历所有空间像素位置，而t遍历一组帧。 ε是一个小常数，可避免奇异值。
时间依赖的GPU TMO，Goodnight等。 [GWWH03]：解决与本地色调映射运算符相关的高计算复杂性的问题，Goodnight等人。 描述照相TMO [RSSF02]的GPU加速。 该方法能够在2000年代初使用可用的硬件以交互式帧速率实现本地色调映射，这意味着今天的实时性能应该没有问题。 至于音调映射的时间特性，在交互式穿行TMO [DD00]中使用了类似的时间自适应模型，并带有指数低通滤波器。
自适应时间TMO，Ramsey等。 [RJIH04]：Ramsey等。 还提出了一种通过时间适应对摄影TMO [RSSF02]进行补充的方法。同样地，在时间暴露TMO [KUWS03]中，根据公式13计算随时间的几何平均值。但是，使用了动态范围的帧，因此仅相邻帧 使用与当前帧相似的平均值。 有效地，这使得边缘保持时间滤波，当输入快速变化时允许快速适应。
局部适应性TMO，Ledda等。类似于时间适应TMO [PTYG00]，Ledda等人。 使用源自实验数据的视网膜反应。 使用S形曲线分别计算圆锥和杆的这些值（公式5）。 但是，为了获得局部响应，需要对每个像素分别进行此操作。 为此，使用了一个双边过滤器来推导在响应函数中使用的局部适应水平。 为了模拟局部适应的时间过程，使用指数过滤器对适应水平进行过滤。不同的过滤器用于视锥细胞和视杆，以及暗和光适应。
对操作员进行了静态场景照明变化的评估，但对于动态场景，适应水平的局部时间滤波通常会导致重影伪影。
图6:阈值与强度和适应(tvia)函数在Mal-adaptation TMO中使用，[IFM05]，用于5个不同的adaptationlevels La。tvi (dashedcurve)近似地对应于tvia曲线的下包络线。(图片由Irawan等人提供[IFM05])。
适应不良的TM： 提出了一种用于HDR视频色调映射的VSS模型，其中包括HVS的错误适应状态。 它尝试匹配场景的可见性，同时使用考虑神经机制和光色素漂白/再生的模型随时间进行适应。 此外，由于能够对适应不良进行建模，因此TMO不会假设HVS完全适合当前的亮度水平。
可见度匹配取自Ward等人的方法。它使用直方图调整来执行色调重现，但借助用于检测亮度阈值（tvi）的功能，将调整限制在眼睛的灵敏度极限内。 爱侣湾等。 使用时间适应TMO [PTYG00]的时间适应模型来补充此音调曲线。 此外，他们将阈值模型扩展为使用tvia（阈值与强度和适应性）函数，以对不良适应进行建模。 tvia是通过数值推导得出的，要求通过JND ∆L改变亮度，应在响应函数中产生∆R改变。 那是，
响应曲线R用S形函数表示，而∆L（L，σ（La））是适应水平La的tvia。图6中显示了一些适应胎儿适应的HVS阈值曲线。这些也被确定为与在线探针一致 Walraven等人的实验。 [WECH * 90]用于测量错误适应的HVS的阈值可见性。 该方法还可以用作低视力模拟器，演示具有视觉障碍的HVS所感知的图像。
感知效果TMO，Krawczyketal。[KMS05b]：类似于与时间相关的GPU TMO [GWWH03]，Krawczyketal。构造基于摄影TMO [RSSF02]的视频TMO。 主要目标之一也是实现具有实时性能的本地音调映射。 但是，该方法通过一组感知效果增强了摄影TMO。 由于摄影TMO需要建立高斯金字塔以导出色调映射中的局部适应水平，因此可以在不增加计算开销的情况下添加基于此构造的附加效果。该框架包括了这种观察，视觉清晰度和遮盖亮度的优点。 此外，还对暗视范围内的颜色感知损失进行了建模。
时间自适应是使用指数衰减函数执行的，用于过滤随时间变化的自适应级别，方法与交互式演练TMO [DD00]中的方法相同。 但是，不是对棒和圆锥进行单独的计算，而是使用一个单一的时间常数。 这是根据视杆的灵敏度从视锥和视杆的时间常数内插的。 最后，为了获得实时性能，操作员在图形硬件中实现。 梯度域TMO，Wang等。 [WRA05]：Wang等。 使用称为裂隙光圈照相机的拍摄设备。 这是一台带有3个CCD传感器摄像机的装置，可以同时捕获同一场景中不同范围的亮度。 使用标准技术恢复每个帧的辐射图，目的是使用生成的HDR视频在色调映射中利用空间和时间域。
对于色调映射，Fattal等人的梯度域方法。 用于[FLW02]。 该方法根据比例因子ϕk衰减像素位置s处不同比例k的图像梯度∇Hks
修改后的梯度场Gs =Φs∇Hs，其中Φ是所有k的组合衰减因子，然后根据泊松方程用于求解色调映射值T，
与原始方法相比，区别在于梯度场在三个维度上，在空间和时间上都在扩展。 与逐帧解决方案不同，在3D条件下求解泊松方程可得到在缩放和偏移方面随时间变化的一致结果。 为了提高效率，可使用对角多重网格技术来求解3D泊松方程。 但是，对于色调映射，由于时间衰减会导致运动模糊，因此仅空间梯度会被衰减。
虚拟曝光TMO，Bennett和McMillan [BM05]：虚拟曝光相机是一种用于视频降噪的过滤方法。 它会在空间和时间上进行双向过滤，以减少图像噪声。 Bennett和McMillan建议使用此过滤器集成视频色调映射运算符，该运算符使用空间双边过滤器进行细节保存[DD02]。 为此，将每个帧分解为基础层和细节层。 基本层使用音调曲线进行音调映射，该曲线从Drago等人的方法中汲取灵感。 [DMAC03]，执行对数映射。 随后，将保留的细节加回去（请参见公式8）。 但是，为了减少噪声并帮助提高时间相干性，在时域中使用了单独的双边滤波器。 对于帧t中的像素s，时间滤波可以表示如下，其中在时域中，滤波支持为2d +1帧宽：
Gσ表示高斯核，而G是双核的归一化因子。为了避免运动模糊问题，每个像素的时间滤波会随着时间的推移停止出现强边。
圆锥模型TMO，van Hateren [vH06]：与以前发布的VSS色调映射方法相反，后者使用实验数据为HVS建模，van Hateren提出了一种使用实际定量测量的方法。 该操作员基于动态建模灵长类动物视锥细胞和水平细胞的系统[vH05]。 该系统基于对猕猴视网膜[SPLD01，LDSP03]中的细胞进行的定量测量。 由于猕猴的视网膜与人类的视网膜几乎以相同的方式工作，因此该模型被认为可以很好地代表人体视锥细胞的功能。 由于仅从视锥中进行测量，因此假定具有视觉视力，而忽略了热疗的影响。此外，还假定了恒定的瞳孔大小。 实际上，色调映射是通过S型音调曲线执行的（公式5）。
操作员描述动态响应，并随时间对圆锥进行建模。 由于神经机制的推动，特别是随着时间的推移，视锥的整合，利用了临时的每像素低通滤波器。这也减轻了图像噪声的问题，但代价是为运动物体引入了运动模糊。
TMO，Lee和Kim [LK07]的块匹配：Lee和Kim基于与梯度域TMO [WRA05]中相同的思想，提出了一种用于视频音调映射的方法。也就是说，在渐变域中执行音调映射，并扩展了梯度 无论是在空间上还是随着时间的推移。 梯度根据Fattal等人的梯度域压缩而衰减。 [FLW02]。 但是，与仅衰减空间梯度的Wang等人相反，Lee和Kim也修改了时间梯度。 为了这样做而不会引入运动模糊，使用块匹配算法来进行运动补偿。 给定从帧t-1到帧t的估计运动v v vs，t of a pixel s，可以将成本函数表述为。
成本随着应对应于同一物理对象点的两个帧中像素值的不相似而增加，这意味着运动估计可能不可靠。 然后在泊松方程中使用成本C来平滑沿场景点的运动路径的渐变。 结果是增强了时间连贯性并降低了噪声。 即，不仅该方法被设计为不引入任何时间伪像，而且成本随着应对应于同一物理对象点的两个帧中像素值的不同而增加，这意味着运动估计潜在地不可靠。 然后在泊松方程中使用成本C来平滑沿场景点的运动路径的渐变。 结果是增强了时间连贯性并降低了噪声。 即，该方法不仅被设计为不引入任何时间伪像，而且
图7:在Display adaptive TMO [MDK08]中，将色调映射作为一个优化问题来表示。图像增强的输入HDR也包括在内，可以选择性地使用，以实现更清晰和更丰富多彩的图像。(图片由Mantiuk等人提供[MDK08])。
显示自适应TMO，Mantiuk等。 [MDK08]：Mantiuk等。将色调映射表述为优化问题，以最大化在特定显示设备上查看的输入HDR图像和色调映射图像之间的相似性，请参见图7。为了估算从显示器发出的亮度，公式1中的模型用来。利用该信息，提出了非线性优化问题。目的是使原始图像的对比度响应与色调映射后的对比度响应之间的平方差最小。即，为了优化，根据估计的对比度响应来测量显示图像Ld和HDR输入之间的差异。这些是从HVS对比感知模型计算得出的。但是，优化并没有最小化每个像素的差异，而是使用对比度的条件概率密度函数，该函数是根据拉普拉斯金字塔中不同级别的直方图估算的。优化受色调曲线的影响，该曲线是将亮度映射到显示器的可用动态范围的增加函数。最后，该问题作为二次编程问题被迭代解决。
在时间自适应方面，利用低通滤波器对推导出的色调曲线节点进行时间滤波
视网膜模型TMO，Benoit等人。 [BAHC09]：Benoit等。 设计一个对HVS的早期阶段建模的VSS运算符。 它描述了细胞层中的操作，这些过程处理从感光器的入口点到神经节细胞输出的响应，并补充视网膜的时空滤波器。 该操作员是根据Hérault和Durette [HD07]和Meylanetal。[MAS07]的模型开发的。这些原因说明了视网膜中的低水平过程，包括局部适应性。
首先，利用S形函数对感光器的局部响应进行建模，其中局部适应水平来自图像的空间低通滤波。然后，将响应通过时空过滤器，以模拟在外部柱状层（OPL）[HD07]中发生的处理。该OPL滤波器可被视为两个低通时空滤波器之间的差异，并且会产生图像频谱的白化。即，它将低频频谱移向更高频率，反之亦然。该滤波器被认为可通过低通滤波高频来降低噪声，并通过随时间推移局部适应水平的滤波而产生更好的时间稳定性。作为音调映射管线的最后一步，OPL时空滤波的输出被馈送到神经节细胞响应模型。与最初的感光器相似，这是使用S型函数建模的，但使用了不同的参数。
作为一项附加操作，通过在色调映射过程之前对彩色图像执行初始空间多路复用（或拼接）处理颜色。 最后，从多路分解或去马赛克步骤恢复色彩。 目的是通过对视网膜中的色锥响应（L，M和S锥）进行单独处理来激发颜色恒定的效果[MAS07]。
990/5000
Pajak等人，《本地不良适应性TMO》。 [PCA * 10]：虽然恶意软件适应性TMO模拟了HVS中恶意软件适应的效果，但这是在全球范围内完成的[IFM05]。 另一方面，本地适应性TMO可以模拟本地适应性水平，但不能模拟不良适应的影响[LSC04]。 Pajak等人针对本地不良适应性TMO进行了研究。 提出了一个模型，该模型说明了空间变化的适应不良。 该模型包括超阈值机制，例如视觉蒙版。 此外，根据空间频率得出亮度适应性和对比度灵敏度。 空间频率敏感度模型使用Daly [Dal92]的可见差异预测值（VDP）中的对比敏感度函数（CSF）。 适应时间过程的模拟与Mal-适应TMO中的相似，但在每个像素级别使用指数滤波器。 如使用实时GPU实施所展示的，可以对仿真进行有效评估。
减少闪烁的TMO，Guthier等。 [GKEE11]：Guthier等。 专注于减少已经色调映射的视频材料中的抖动现象，采用后期处理过程。无色调映射序列，当两个连续帧的关键值κt（等式13）之间的差大于某个阈值H时，检测到抖动，|κt− κt−1 | >H。该阈值由史蒂文斯幂定律[Ste62]制定，H = ∆L = kL1 / 3，其中k由实验确定。 对于高于阈值的帧，亮度会反复更改，直到关键值落入可接受的亮度更改范围κt∈[κt−1 -H，κt−1 + H]为止。 该方法适用于仅遭受全局亮度不连贯的任何TMO，但是Ward等人在三个先前发布的算子上进行了证明。 [War94a，WLRP97]和Reinhard等人。 [RSSF02]。
实时自动TMO，Kiser等。 [KRTT12]：认识到相机捕获的HDR视频的色调映射中的固有问题，Kiser等人。 建议使用自动参数估计[Rei02]对摄影TMO [RSSF02]进行两次修改。 首先，基于图像直方图，在色调映射之前将输入图像的黑白电平钳位。 这是为了更好地利用显示设备的可用动态范围，否则该动态范围可能会受到极限值的影响。 其次，使用泄漏积分器来过滤随时间变化的参数，该积分器类似于与交互式漫游TMO [DD00]中所用的指数平均低通滤波器。 由此产生的运算符可实现具有实时性能和自动派生参数的有效实施。
颜色外观TMO，Reinhard等。 [RPK * 12]：Reinhard等。 从颜色外观建模，色调映射和亮度感知中汲取灵感，以构建外观校准算法。 目的是根据感光器响应（包括亮度感知的局部方面）匹配图像外观。 相对于房间照明以及显示特性进行匹配。
根据描述适应亮度，最大亮度，适应白点，最大白点和适应度的参数执行外观再现。 对于场景，显示和查看环境，这5个参数分开保存。 场景参数是根据输入估算的，而其他参数则经过调整以指定要为其校准输入的显示环境。 此外，场景参数估计被定位到根据中值剪切算法[Deb08]计算出的图像区域。
最终的色调映射算法是使用不同的环境参数从感光器S形响应模型中制定的。 为了获得时间稳定性，对截取参数进行了泄漏积分，有效地执行了随时间推移的指数过滤。最后，针对一组颜色数据集验证了外观再现。
时间一致性TMO，Boitard等。 [BBC * 12]：除了时间闪烁，Boitard等人。确定视频色调映射中的两个其他潜在问题。第一个称为物体无声，它涉及色调映射序列中物体亮度的变化。与原始HDR序列不对应的更改，是由于图像统计信息的变化而发生的。第二种称为亮度无关性，它描述了整体亮度随时间的变化； HDR序列中最亮的帧始终无法产生明亮的色调映射帧。为了实施保留这些属性的色调映射，Boitard等人（2003年）提出了一种新的方法。建议在后处理步骤中考虑整个HDR和色调映射序列，而不是在时域中进行本地操作。对于每个帧，分别计算关键值κLt和κTt（等式13），分别对应于HDR和色调映射序列。色调映射序列的每个帧的关键值然后根据帧的全局缩放比例τ固定为整个输入HDR序列的最大关键值，T =τT。
混合值也用于缩放，以放宽这种锚定，并允许更小的偏差从输入的最大键值
后处理意味着该算法适用于仅遭受全局不一致性的任何TMO。 但是，Boitard等。 使用摄影TMO [RSSF02]中的色调曲线，它可以稍微简化缩放比例的公式。 使用亮度缩放的后处理调整类似于“减少闪烁” TMO [GKEE11]。 但是，它会考虑整个序列以增强对象和亮度的一致性，并通过与输入HDR序列进行比较来做到这一点。 这是以降低整个视频序列的整体亮度为代价的，因为与最亮的输入帧相比，大多数帧将被缩小以保持恒定的相对亮度。
区域相干性TMO，Boitard等。 [BCTB14b]：为了提高时间相干性TMO的结果，在区域相干性TMO中Boitard等人。 使用其他功能扩展该方法，以对亮度域中的各个段执行处理。 由于保留总体时间亮度连贯性会导致总体亮度和对比度（除最亮帧以外的所有帧）降低，因此新操作员的目标是在本地进行此操作。 而且由于很难进行空间分割，特别是要在整个序列上保持连贯性，因此可以在亮度域中完成。
为了分割成不同的亮度区域，对于每个帧，使用对数域中的图像直方图。首先，检测直方图的局部最大值，并将其之间的局部最小值定义为区域边界。在这些区域中的每个区域中，键值都是单独计算的。但是，这些区域关键值可能会在帧之间快速变化，从而可能导致闪烁伪影。为减轻此问题，计算区域以使边界在整个序列中保持一致。这是通过从所有帧中的所有区域关键值计算序列直方图来完成的，然后再次执行分割，从而获得一组新的区域。最后，使用这些区域的关键值，分别针对每个亮度区域执行时间相干TMO（公式19）的缩放调整。为避免区域边界出现问题，当靠近边界时，将缩放比例τ混合在相邻区域之间。运动路径过滤TMO，Aydin等。 [ASC * 14]：Aydin等人采用的方法。这是由摄像机捕获的材料[EWMU13]的视频色调映射常见的问题引起的，尤其是在不引入局部时间不连贯性的情况下再现局部对比度的问题。为了在执行局部时间连贯性的同时对序列进行局部色调映射，该方法被设计为时空滤波框架。该框架的基础是通过光学流计算进行的每个像素的运动估计，该计算给出了帧t和r之间每个像素s的运动矢量v v vs，t r。使用该矢量场，可以根据时间在2d +1的时间窗口r∈[t -d，t + d]上对每个像素执行随时间的运动补偿滤波。
Fort = r矢量场v v vs，t↔t= 0。沿着运动路径过滤的核H是从洛伦兹边顶函数描述的。 它使用帧t中的当前像素与帧r中的运动补偿像素之间的差作为停止标准。 其目的是限制在较强的时间边缘或光学流失败时的过滤。
如图8所示，根据等式8，通过将输入帧分为基础层和细节层来执行色调映射。但是，在提取细节层之前，使用等式21临时过滤基础层和原始帧。 用于估计基础层的边缘保留滤波器被公式化为迭代平滑过程。 此外，通过在对数域中缩放或利用Drago等人的色调曲线来完成对基础层的压缩。 [DMAC03]。 过滤过程试图增强色调映射的局部时间一致性，包括输入序列中已经存在的时间伪像。 积极的副作用还可以减少相机噪点。
Hybrid TMO, Shahid et al. [SLF * 15]：Shahid等。提出使用混合色调映射方案，该方案利用两个不同的TMO来映射HDR序列中的同一帧。使用定向滤镜库边缘检测算法[ATJ12]将图像分割成包含高强度变化的区域。这些区域随后使用iCAM06TMO [KJF07]进行了色调映射，由于本地处理，该区域可渲染保留良好的细节。在帧的其余区域中，使用了Wardetal的直方图调整。[WLRP97]。为了处理时间方面，对色调映射的帧进行缩放，以强制连续帧之间的平均强度差异不超出预定阈值，类似于该技术。在减少闪烁的TMO [GKEE11]中。噪声感知TMO，Eilertsen等。 [EMU15]：Eilertsen等人以作者早期调查和评估[EWMU13]为起点。提出了一套技术来解决当色调映射相机捕获HDR视频素材时通常会出现的问题。目的是要找到一种有效且在时间上稳定的视频色调映射方法，该方法可以处理动态范围的大压缩，同时保持局部对比度，而不会增加摄像机噪声的可见性。
噪声感知TMO, Eilertsen等人[EMU15]: Eilertsen等人以作者早期的调查和评估[EWMU13]为起点，提出了一套解决问题的技术，它表明，当色调映射摄像机捕获HDR视频材料时，这些问题通常会出现。目的是得到一种有效的、暂时稳定的视频色调映射方法，它可以处理动态范围的大压缩，同时保持局部对比度，并且不增加摄像机噪声的可见性。
为了保持细节，将公式8与专门为色调映射目的设计的滤波器一起使用。 这是出于认识到为降低噪声等目的而设计的标准边缘保留过滤器可以在某些情况下显示伪像的动力。 色调映射的细节提取问题在概念上是不同的，需要大规模的滤波响应，并且滤波输出不是最终结果。 为了有效地提取没有伪像的细节，建议从统一的双边滤波和各向异性扩散公式简化，该公式不能显示与各向异性0阶滤波器相关的重构问题的类型。
对于色调映射，导出色调曲线以保持原始序列的对比度尽可能接近。 这被表述为优化问题，目的是在亮度映射下最小化对比度的失真。 对于输入对比度G和对应的对比度〜G色调映射之后，平方失真的期望值（G-〜G）2由对数亮度L上的对比度p（G | L）的分布表示，如
该方程式代表了一个L2优化问题，可以通过参数化色调曲线并使用图像直方图描述p（L）来有效地解决。一般概念类似于显示自适应TMO [MDK08]中的对比度优化。 但是，这种公式可以简化复杂性。 为确保随时间平滑变化，将音调曲线的节点使用低通II Roranedge停止滤波器进行滤波。 如图5所示，色调曲线下的映射可以揭示在原始序列中不可见的噪声。 为了防止这种情况的发生，引入了噪声感知的概念。 想法是在等式22中的色调曲线优化中包括图像噪声的模型作为显着项。此外，提取的细节层也根据噪声的可见性进行缩放。 这两种机制的作用是隐藏噪声，以确保其不超过HVS的可见性阈值。
作为色调映射过程的最后一步，色调映射的帧将通过逆显示模型（等式1）传递，以使结果适合特定的显示设备。 噪声对数传感器TMO，Li等。 [LSRJ16]：Li等。 以与Ward等人的工作相同的方式描述直方图调整TMO。 [WLRP97]。 该方法使用从图像直方图导出的累积分布函数来制定色调曲线。 虽然沃德等。 Li等人在计算色调曲线之前，将HVS的功能用作裁剪图像直方图的阈值。 相反，为了不增加色调映射中图像噪声的可见度，请使用噪声模型。 TMO专为实时处理来自对数CMOS传感器的视频而量身定制。 为了进行时间自适应，使用指数低通滤波器对直方图仓进行过
K-means聚类TMO，Oskarsson [Osk16]：基于作者的先前工作[Osk15]，Oskarsson提出了扩展基于聚类的TMO以用于HDR视频的色调映射的目的。给定一个由一组N个强度级别组成的输入HDR帧，目标是分配K <N个输出级别，与原始图像相比，将距离D（N，K）最小化，
在此，L∈{L1，...，LN}和T∈{T1，...，TK}分别是输入值和输出值，而p（L）是图像直方图。 优化使输入值L和有限的输出电平T之间的加权距离最小，从而产生了一组K个代表簇。 即，将色调映射表述为一维加权K-均值聚类问题。 使用动态规划方法证明，可以通过与KN2成正比的计算复杂性来迭代地发现全局最优。 通常，对于标准显示，K设置为256，并且在聚类之后是K级别到显示值l = {0，...，255}的映射。
为了解决时间变化，针对分布在整个HDR视频序列中的某些关键帧，分别计算了从K均值聚类得出的色调曲线。 在特定关键帧上，聚类用于派生色调曲线，不仅基于关键帧本身的像素，还基于周围的一组组合帧。 然后根据最近的关键帧处的色调曲线的线性内插来计算关键帧之间的色调曲线。
7. 定量比较
表1:HDR视频色调映射操作符列表，分类并定量测量了其中一部分操作符的预期性能。已按第7节所述估计了执行情况措施。请注意，这些只是提供了不同性质的指示性证据;它们是由有限的数据估计的，并不能保证泛化到所有的HDR视频序列。有关每个tmo的描述，请参见第6节。
图9:计算时间相干性的标准化。行显示两种不同的tmo，列显示三种不同的标准化技术。标绘的是HDR和色调映射帧的平均日志值，局部时间邻域为5帧，归一化前后的日志值。时间相干性估计为归一化信号的互相关。从视觉上看，TMO II在时间上是稳定的，而TMO I有一些闪烁的趋势。然而，只有公式26中的标准化才能揭示这一事实。在(f)应用中的图例
图10:测量的局部(每像素)时间相干性的例子，其中蓝色和红色分别对应较好的和较差的相干性。这些例子展示了三个tmo在局部时间相干性(a)-(c)方面存在问题，以及三个表现出良好相干性(d)-(f)方面的问题。尽管局部不一致性主要与局部TMOs (b)-(c)有关，但(a)中的全局算子也受到不一致性的影响，因为图像较暗部分的噪声被放大了。这些帧是使用公式26对Showgirl HDR视频序列的音频进行测量得到的，如图19所示。
图15:(b)-(o)图15:(b)-(o)图中(a)中噪声输入的色调映射示例。
图16:根据图11-14的定量测量，评估的TMOs的预期性能。时间上的不一致性被认为是局部和全球措施的总和，而暴露是不足和过度暴露的总和。分类依据表1。
8. 结论
自将近25年前问世以来，用于HDR图像的色调映射方法已得到了巨大的发展。 用时间适应模型设计的操作员也已经存在了很长时间。 但是，随着摄像机捕获的HDR视频的引入，出现了新的问题。 当时许多现有视频运营商都无法在所有情况下正确解决的问题。 考虑到复杂的时间行为和HDR视频流的特定属性，使用最新的最新技术，我们现在可以在大多数情况下始终如一地制作这种材料的高质量色调图。
在这项工作中，我们重点介绍了HDR视频的色调映射算法，并给出了现有方法的全面描述。随后从时间连贯性，对比度再现，曝光和噪声可见性方面评估了这些方法的子集，以表明它们的预期性能。 从结果可以得出结论，鉴于定量测量提供的证据，一些最新的TMO非常适合解决与摄像机捕获的HDR视频的色调映射相关的问题。
尽管当前的视频色调映射技术能够从现有的HDR视频材料生成高质量的结果，但是仍然存在一些明显的挑战。例如，所有TMO都具有一组参数，可以针对给定的目标调整这些参数以获得最佳体验。参数的数量范围可能从几到几十种不等，可以找到合适的材料，即使一种方法可能声称是全自动的，也总是有空间可以调整对比度，颜色等。问题是如何找到最佳点在多维参数空间中，并随时间主观地评估结果。尽管一些实验方法已用于此目的[YBMS05，EWMU13，EUWM14]，但尚无用于微调TMO的通用方法。
仍然需要注意的第二个领域是如何处理色调映射中的颜色。尽管为此已经使用了颜色外观模型但是大多数TMO倾向于仅在亮度或单独的颜色通道。
最后，由于最后通过主观判断来判断色调序列的质量，因此对TMO的评估始终是一个具有挑战性的问题。与图像处理中的许多其他领域不同，它不可能与真相进行比较，在大多数情况下，必须进行主观实验[DCMM16，Ch。 7]。