本文仅用于学习过程中的一些总结记录。2020年发表的关于事件相机在SLAM相关方向（特征提取、深度估计、建图等）的论文。

1. 运动估计 Motion Estimation

有不少关于运动估计的论文，基本是围绕之前最大化事件积累图对比度的方式进行。

最小化Entropy

[1] 采用最小化熵函数的方式，对运动参数进行估计。文章指出最大的优点是，这种方法不需要将空间中的事件投影到平面上去最大化对比度。然而数学内容太复杂真的看不懂。
2020年里，关于事件相机SLAM相关研究的论文总结

全局最优解计算

[2] [3] 两篇论文，都是解决运动参数估计时陷入局部最优解的问题。如果在使用最大对比度函数进行计算运动参数时，需要有一个较好的参数初值，否则对于图像问题在优化时会陷入局部最优解。如下图所示，左下角的运动参数就是局部最优解。
2020年里，关于事件相机SLAM相关研究的论文总结论文采用了分支定界（Branch-and-bound）的方法进行全局搜索，提出了某个区域的近似上界和下界，加速运算。

运动参数时间连续性

[4] 这篇论文提出，相机的运动应该是连续的，之前的方法只是针对每个积累图进行一次优化得到运动参数，并没有考虑与前后时刻的运动参数是否一致。

论文将一段儿时间内的运动参数设置为时变的，但这样难以优化，所以不得不再次切片成多个更短的时间离散化，分别优化运动参数。同时增加一阶导数作为惩罚项避免过拟合，保证参数变化的连续性。如下图，待优化的运动参数是时变的 θ t \theta_t θt，最后一项是参数的一阶导。

2020年里，关于事件相机SLAM相关研究的论文总结
这个想法让人眼前一亮，从实验结果上看，增加噪声以后，考虑了时间上的连续性情况下的运动曲线更加平滑。

2. 建图、场景识别与VIO

Frame+event的深度估计

[5] 使用了事件相机+传统相机进行深度估计。作者指出这是第一个关于二者融合的深度估计，二者结合得到了时间上连续的稠密深度图。

2020年里，关于事件相机SLAM相关研究的论文总结方法架构如上图。stereo相机数据过来以后进行稠密重建，然后根据运动参数推测和收到的events在两帧图像之间对depth图进行更新。由于利用到了视差的信息，论文提到这种方法更适合于平行于平面运动，但仍然不失为一种不错的尝试。毕竟这种方法补全了两帧之间的深度图，还是挺有趣的。
2020年里，关于事件相机SLAM相关研究的论文总结

基于事件的场景识别

[6] 是我读到的第一个event-based的场景识别的论文。时空窗口的选择方式常见的有定事件数量或定时间，但无论如何事件只归属于一个窗口。而这篇论文采用了多种尺度的时间窗口，一个事件同时隶属于多个窗口。然后通过已有的E2VID方法恢复到图像，再进行匹配。
2020年里，关于事件相机SLAM相关研究的论文总结如上图的流程所示，第一个图示意某一个时刻某一个事件可能同时归属于6个窗口（3种时间间隔、3种数量上限），之后所有的窗格恢复images，再分别提取特征，与之前关键位置的images进行比对，形成Ensemble matrix。最近的那个就是成功匹配。这种方法给出了一些近似方法，降低了比对的复杂度。这个方法还是比较有趣的，虽然感觉有点儿暴力。

利用线特征的VIO

[7] 这篇论文提出了一个IMU+DVS的VIO。大致看了一下主要是优化的点到线距离。

3. 基于Learning的一些研究

基于SNN的角速度估计

[8] 这篇论文采用SNN对3DoF的角速度进行估计。在此之前，SNN基本只用与做Event的分类问题，而没有做过回归（角速度估计是回归问题）。这篇论文表示做回归问题也是可行的，同时比其他ANN的方法要好。
2020年里，关于事件相机SLAM相关研究的论文总结

E2VID 视频恢复

[9] 这篇论文是rpg组Henri Rebecq的工作，好像是在18年基础上的改进，并公开了代码。event数据流直接通过learning后转成视频。看着效果还是不错的，应该比之前基于泊松的一些重建要方便许多。
2020年里，关于事件相机SLAM相关研究的论文总结

未完待续

由于项目和各种个人事情，好久没有认真读论文。今天大概翻看这么几篇，算是慢慢进入状态。总得来说，20年在SLAM的工作，并不像之前给人眼前一亮的论文多。可能显而易见的都差不多有了，该慢慢深入了。

有时间继续补充，未完待续……

参考文献

[1]. Urbano Miguel Nunes: Entropy Minimisation Framework for Event-based Vision Model Estimation.

[2]. Xin Peng: Globally-Optimal Event Camera Motion Estimation.

[3]. Liu, Daqi; Parra, Álvaro; Chin, Tat-Jun (2020): Globally Optimal Contrast Maximisation for Event-based Motion Estimation. Available online at http://arxiv.org/pdf/2002.10686v3.

[4]. Xu, Jie; Jiang, Meng; Yu, Lei; Yang, Wen; Wang, Wenwei (2020): Robust Motion Compensation for Event Cameras With Smooth Constraint. In IEEE Trans. Comput. Imaging 6, pp. 604–614. DOI: 10.1109/TCI.2020.2964255.

[5]. Antea Hadviger: Stereo Dense Depth Tracking Based on Optical Flow using Frames and Events.

[6]. Fischer, Tobias; Milford, Michael (2020): Event-Based Visual Place Recognition With Ensembles of Temporal Windows. In IEEE Robot. Autom. Lett. 5 (4), pp. 6924–6931. DOI: 10.1109/LRA.2020.3025505.

[7]. Le Gentil, Cedric; Tschopp, Florian; Alzugaray, Ignacio; Vidal-Calleja, Teresa; Siegwart, Roland; Nieto, Juan (2020): IDOL: A Framework for IMU-DVS Odometry using Lines. Available online at http://arxiv.org/pdf/2008.05749v1.

[8]. Gehrig, Mathias; Shrestha, Sumit Bam; Mouritzen, Daniel; Scaramuzza, Davide: Event-Based Angular Velocity Regression with Spiking Networks. In IEEE International Conference on Robotics and Automation (ICRA). Available online at http://arxiv.org/pdf/2003.02790v1.

[9]. Rebecq, Henri; Ranftl, Rene; Koltun, Vladlen; Scaramuzza, Davide (2019): High Speed and High Dynamic Range Video with an Event Camera. In IEEE transactions on pattern analysis and machine intelligence PP. DOI: 10.1109/TPAMI.2019.2963386.

2020年里，关于事件相机SLAM相关研究的论文总结