人群密度估计--Fully Convolutional Crowd Counting On Highly Congested Scenes

Fully Convolutional Crowd Counting On Highly Congested Scenes
The 12th International Conference on Computer Vision Theory and Applications (VISAPP)
VISAPP 2017

本文使用 FCN 来做人群密度估计，主要参考 Single-image crowd counting via multi-column convolutional neural network，
主要改进的地方有以下三点：1）新的数据增强方法用于增加训练数据；2）提出一个更好的FCN网络；3）输入图像的多尺度用于解决 scale and perspective

FCN 用于人群计数主要的优点就是输入图像尺寸可以是任意的，输出的密度图根据输入尺寸自适应变化。目前已有的数据库主要的标记信息是人头位置标记。 这里主要是根据人头位置信息得到人群密度真值图。具体的生成过程主要是： N head annotations 根据人头位置生成 discrete density heatmap，对每个人头位置 加一个 unit impulse 到 discrete density heatmap 中去。

为了将离散密度能量图转为连续的函数，我们对每个人头位置使用一个adaptive Gaussian kernel 卷积
To convert this discrete density heatmap to a continuous function, convolution with an adaptive Gaussian kernel G σi is applied for each head annotation

2.1 Training Set Augmentation Scheme
由于大多数人群计数方面的数据库规模都比较小，所以数据增强计数就显得比较重要。

allow these crops to overlap for image recognition tasks, pixel-wise tasks can potentially overfit
从图像中裁出的图像块最好不要有重叠
所以我们采取了 four image quadrants as well as their horizontal flips are taken as training samples, ensuring no overlap

2.2 FCN Architecture

loss function

Shanghaitech Part B validation performance

2.3 Multi-Scale Averaging During Inference
我们对输入的测试图像使用多尺度输入，得到更好的密度估计，original size + 80% original size

UCF CC 50 dataset

Shanghaitech dataset

Cross dataset performance of our method