EventGAN: Leveraging Large Scale Image Datasets for Event Cameras

https://arxiv.org/pdf/1912.01584.pdf

https://github.com/alexzzhu/EventGAN

 

 

• 本文解决问题：

事件相机应用中，缺少标记的可训练数据集。

• 现有解决方案：

早期的方法直接采用公式 （1）；但是这种方法受限于图像帧的时间分辨率，因而只适用于低速运动场景。

为了解决这个问题，Rebecq et al. [29], Mueggler et al. [27] and Li et al. [21]  等工作采用全 3D 仿真场景。这样，仿真图像可以任意设定时间分辨率，同时可以得到场景的光流，因而实现了精确的事件轨迹。但是，这种方法有很多缺点：1 只适用于运动轨迹已知的情况；2 执行3D模拟也是一个相对昂贵的过程，需要复杂的渲染引擎；3. 这些方法不能很好地模拟传感器的噪声特性。

• 本文的策略：

以现有的已标记的 图像-事件 对作为训练数据，用 CNN 网络实现从 图像 到 事件 的生成。

• 本文的方法：

EventGAN   1. 图像 to 事件；2. 事件 to 图像；3. 事件 to 光流 ， 4. 光流 to 图像。

1. 图像 to 事件：输入真实图像 I，生成仿真事件；生成的 仿真事件 要和 GT 事件 做对抗学习；

2. 事件 to 图像：这个环节和 3 很有意思，作者是先用 GT 事件 to 图像 I2，得到预训练好的图像重构生成器；然后，将 1 中仿真的 事件 输入到这个生成器，输出新的重构图像 I3。

3. 事件 to 光流：同 2；即先用 GT 事件 to 光流，得到预训练好的光流生成器；然后，将 1 中仿真的 事件 输入到这个生成器，输出新的光流。

4. 光流 to 图像：将 3 中用 仿真事件生成的光流，通过物理模型，得到新的重构图像 I4；I3 和 I 4 要和 I 做周期一致性损失（cycle consistency losses）。这样，只有仿真的事件跟真实事件比较一致时，这个损失才会比较小。

换句话说，EventGAN 能够限制生成的事件以保留真实数据中表达的运动和外观信息（motion and appearance information）。

• 本文的验证方法：

在 汽车目标检测 和 2D 人体姿势估计 任务中进行验证。