2019PR之RGBT行人检测：Illumination-aware faster R-CNN for robust multispectral pedestrian detection

Illumination-aware faster R-CNN for robust multispectral pedestrian detection
简述：
本文发现从RGB或T图像行人检测结果与照明条件相关。考虑到这一点，提出了IAF R-CNN网络。具体地说，首先引入了光照感知网络来给出输入图像的光照度量。然后，我们通过一个定义在光照值上的门函数自适应地合并RGB和T的子网络。

左图为光照条件较好的情况下经过门函数后的带权结果，右图为光照条件不好的情况下经过门函数后的带权结果。
模型：
1，本文首先对已有的6种基础网络进行了简介以及做了对比试验：

依次为输入融合，早期融合，中期融合，晚期融合以及评价融合1，评价融合2（其中图e加入了结果融合过程模块）。

2，本文提出的IAF R-CNN

通过得到的权重分别成两个模态生成的置信得分和边界框得到最后的分类得分和bounding
Box_pred，框架本身在训练的过程中加入了分割feature map得到分割mask辅助训练。
3，本文最大的创新点之一应该是预分类（黑夜白天）网络的门函数的设计：

这个门函数：
第一，输入是RGB权重，输入到门函数中，一定会变小，也就是说，这个函数一定减少了RGB权重，增加了T权重，可以分析得到，在RGBT行人检测任务中，确实在白天或者黑夜中，行人作为热源一定在T图像是存在的，而在RGB图中因为阴影或者黑夜可能不显著甚至看不到，所以这个门函数一定会加强T权重而减少RGB权重是合理的。
第二，可以在跑源码的时候发现，分类值绝多数情况下都是比较极端的（无限接近与0或1），所以当RGB接近1时，即使经过这个函数，也是0.9几，T是0.0几；当T接近1时，经过门函数，T更接近于1，RGB更接近于0。这是由于二分类任务太简单，对于网络没有难度，所以分类结果非常好，所以这个文章的分类网络只用了几层卷积层，权重也只取了第二个epoch。这样的结果意味着最后得分乘权重时，一个模态几乎没有用，而只用了另一个模态。
第三，这个门函数最大的问题在于，当值约等于为0.5-0.55之间时，会使得结果小于0.5，什么意思，就是说，本来的网络如果阈值大于0.5判断为白天是，也就是RGB权重大，经过这个门函数，反而成了T权重大，RGB小，即使结果说得通，但整篇文章讲的白天RGB权重大，黑夜T权重大，就是大错特错了，分类为白天黑夜也就失去了意义。