【论文笔记】：Overlap Sampler for Region-Based Object Detection
&Title
&Summary
在训练过程中，负责识别区域提议网络生成的提议的阶段始终会采用采样启发式方法（例如OHEM，IoU平衡采样）来选择部分示例。 但是如今，现有的采样器忽略了示例之间的重叠，这可能导致保留了一些低质量的预测。
为了缓解该问题，我们建议使用“重叠采样器”，该示例根据示例之间的重叠来选择示例，从而使培训可以将重点放在重要示例上。
Results：
得益于此，Faster R-CNN可以在具有挑战性的COCO基准上获得令人印象深刻的平均精度（AP）高1.5点，这是现有的基于区域检测器的采样器的最新结果。 此外，提出的采样器还为实例分割任务带来了很大的改进。
我们的分析表明，重叠采样器可以比其他基于IoU的采样器实现更高的准确性上限，因为它有助于训练将重点更多地放在那些高度重叠的案例上。 因此，具有重叠采样器的检测器将倾向于保留来自多个候选建议的相对高质量的结果。
Contributions
- 通过对基于IoU的采样启发式方法的仔细研究，我们发现示例之间的重叠对检测精度有巨大影响。
- 为此，我们提出了“重叠采样器”以改进基于区域的检测器，该检测器根据示例之间的重叠选择训练样本。
- 大量实验表明，重叠采样器比现有的采样启发法更有效。 它没有任何风吹草动，分别提高了1.5 bbox AP和0.8 mask AP，以在具有挑战性的COCO基准测试中分别实现Faster R-CNN和Mask R-CNN
&Research Objective
关注正负样本之间的IOU
&Problem Statement
- 尽管RPN可以消除大多数负面影响，但在每个区域阶段的其余示例中，它们仍占〜90％，这可能导致训练以巨大负面影响为主导。
以前的工作[28，32，33]已经证明，正负之间的不平衡会阻碍基于区域的检测器获得更高的精度。 具体而言，在训练过程中，负面示例的数量远大于正面示例的数量（例如100k对100）
- 现有的基于IoU的采样器仅考虑基础与示例之间的重叠，而忽略了示例本身之间的重叠。如图1所示，这两种重叠类型非常不同。对于这种情况，作者称那些与正样本有较高IOU的负样本会在NMS过程中错误地抑制正样本。
为了减轻正负之间的不平衡，采样启发式方法[19]被广泛用于训练目标检测器，例如基于损耗的采样[22，25，33]和基于IoU的采样[3，6]。对于基于区域的检测器，后者显示出更高的效率，因为它仅选择一部分示例进行训练，从而消除了基于损耗的采样所引起的额外计算成本。
Investigation
- IoU平衡采样是Libra R-CNN的采样部分[28]。 如图2（a）所示，它根据真假和负片之间的IoU将采样间隔均匀地分为K个bin（图中显示了K = 2的示例），并从它们中均匀选择样本。 因此，如果可以正确识别所有负片，则可以实现其最佳精度。 在表1的第一行中，我们将所有负片的预测得分设置为零（即Sn = 0），并获得最小COCO的44.2 AP。
- 基于重要性的样本重加权（ISR）属于PISA的分类部分[3]。 它希望衡量不同示例的重要性，然后选择要训练的主要示例。 如图2（b）所示，开发了IoU-HLR算法[3]来对不同阳性的重要性进行排名。 然后，ISR为“主要示例”分配更高的权重（与它们对应的地面真相具有更高重叠度的正值）。 因此，如表1的第二行所示，我们将所有阳性的预测得分设置为IoUg，p以估计ISR的上限。 可以看出，ISR在COCO最小值上达到了45.1 AP，比IoU平衡采样的上限高0.9 AP。
ISR表明，应根据不同的正负与gt的重叠来对不同的正负进行加权。 与IoU平衡采样相比，ISR在上限处的增益来自NMS的改进，因为加权方案将帮助检测器为更高质量的正例输出更高的分数。 因此，我们提出了一个重叠采样器，直接关注那些与NMS相关的示例。
&Method(s)
为了利用采样过程中样本之间的重叠，我们提出了Overlap Sampler，它根据样本之间的重叠来选择训练样本。
如图3所示，它由两部分组成，用于对正例和负例进行采样。
Negative Overlap Sampler.
假设我们需要从M个对应的候选负数中抽取N个负数样本，而无需替换。 对于第i个负示例，其采样概率和最大IoUp,n分别表示为pi和IoUip,n。 通过这些定义，我们设计了几种方法来设置采样概率。
均匀概率采样： 此策略与随机采样完全相同。 每个示例具有pi = N / M的均匀采样概率。
困难概率抽样： 第3.1节中的分析表明，高度重叠的示例应准确识别。 自然地，我们可以采样所有IoUip,n > =θ示例进行训练，其中θ是NMS阈值：
在公式1中，1（）表示指示函数，U表示采样的负数。 之后，我们应用均匀概率采样以IoU采样N − U个负数。
软概率采样： 首先根据IoUp,n将采样间隔平均分为K个bin。 然后，我们从中统一选择样本：
其中Nk表示相应间隔中的候选采样数，k表示每个间隔的索引（k∈[0，K））。 IoUp,n max是间隔3中的最大IoUp,n。 图3显示了软概率采样的示例。
硬概率采样策略可能导致检测器过度关注IoUip,n >=θ负示例。 此外，IoUip,n > =θ示例的数量始终不够，这会浪费一些IoUip,n <θ的示例。 因此，我们在这里介绍一种软概率采样方法，类似于IoU平衡采样[28]。
线性概率采样： 仅采用归一化IoUp,n作为采样概率。
但是，此采样方法不会选择IoUp,n = 0的底片，这比硬概率采样和软概率采样差。 我们将在第4节中进一步讨论它们。
Positive Overlap Sampler.
我们使用一个正重叠采样器来采样具有高IoUp,e的正样本，这意味着正样本与所有示例之间的重叠。 为简单起见，我们使用在负重叠采样器中相同的概率采样方法。
我们提出了一种简单的损失重加权方案，以补充正重叠采样器。 对于每个基本事实框，我们找到其最匹配的正例，并在损失计算期间将其权重乘以系数ǫ。 这样，正重叠采样器不仅可以采样与负示例高度重叠的更多正值，还可以支持检测器预测更多高质量正值。
就是仍然使用跟负样本的选取方式来选取正样本，然后将这些正样本中最匹配的正例（也就是IoUg,p最高的），在损失计算的时候，将其权重乘以系数ǫ。
对正样本进行采样比对负样本进行采样更为复杂。 由于在训练过程中阳性的数量通常不足，因此对所有阳性样品进行采样是很常见的。 但是，采样的正性结果始终具有不同的质量（即IoUg,p），IoUg,p较高的阳性结果对于提高准确性更重要，这表明不宜对其进行相同的训练。
为了解决这个问题，ISR [3]提出了IoU-HLR [3]和CARL [3]技术来关注高IoUg，p的主要例子。 但是，它们通常会产生额外的计算成本。
&Evaluation
就上表来看，使用负采样对检测器的检测性能提高了一个点左右。
就上表来看，PISA的效果并没有很好的样子，也就比faster rcnn （41.3）好0.2而已。
&Thinks
- 根据正负样本的IOU划分区间，然后照搬IoU-balanced sampling的做法。
- 对于正样本，拥有与GT不同IOU的正样本不应该同等地参与训练。因此作者采用re-weighting的方式，方法和处理负样本相似（没有划分区间）。最好的positive(最大IOU)以一定的额外的权重参与损失计算，可以使检测器的优化过程更多的关注正样本。
- 上面的表1，用各种方法的上届，来证明明自己的好，个人不太理解这一步啥意思？？