【新无人机数据集】从行人重识别 到 无人机目标定位
点击我爱计算机视觉标星，更快获取CVML新技术
本文原载于知乎，已获作者授权转载，请勿二次转载。
https://zhuanlan.zhihu.com/p/110987552
简介（与行人重识别的关系）：
随着无人机的发展，无人机视角的目标定位是一个基本的任务，透过无人机视角图像与卫星图像相结合，来判断目标建筑的位置。
主要难点与行人重识别任务一致，为跨视角的图像匹配。在行人重识别任务中为跨摄像头匹配，而在无人机定位任务中为垂直方向的视角匹配（街景<-> 无人机 <-> 卫星）。
行人重识别目前发展得比较好，数据集也被大家刷很高；而geo-localization这个任务才刚刚开始，匹配难度较高，做的空间还比较大。
行人重识别在隐私政策上有一些考虑，采集了人体的生物信息；而无人机的建筑定位相对科研伦理/隐私上的问题比较小。
主要任务描述：
任务1 - 无人机视角目标定位 (Drone-> Satellite) ：给定一张无人机视角的图片或者视频，这个任务是去找最相似的卫星图，卫星图往往有gps所以就可以对无人机中的目标定位。
任务2 - 无人机导航 (Satellite->Drone)： 给定一张卫星视角的图，无人机尝试去找他飞过的地方（无人机视角的图）。如果找到就按照飞行历史，再飞回去，完成一个导航的操作。
数据采集：
我们利用了wiki 来找到了 72所大学的建筑名称，去除其中的广场campus，以及一些google map上找不到的地点。
下图展示了前100个building名称（en.wikipedia.org/wiki/C）
我们利用google earth去模拟无人机视角的图像，如下面这个视频，采用一个螺旋形的方式接近建筑。
同时对于每个建筑，我们还收集了卫星图，和google map的街景图。
之前的数据集往往只收集地面和卫星的image pair。我们则提供了无人机视角图像作为中间的媒介，同时无人机可以减少树木的遮挡，更容易与卫星图做匹配。（下表为training set的对比）
我们数据集的统计数据如下：（训练和测试分别是33 和 39所大学，共72所大学，没有overlap）
数据license：
我们按照Google的官方Guideline进行research的release。
同时也依照之前的一些项目 如 Tokyo 24/7 和 CVUSA等数据集采用学校邮箱的方式来发布数据。
基准测试：
主要采用了我之前文章的instance loss，这篇文章是2017年11月放的，最近中了ACM TOMM 2020 用来做图文互搜的，大家有兴趣可以康康，可以用来分类几万类。
主要思想就是把最后分类层的weight 共享，但是前面的特征提取网络还是各归各的。
pytorch 代码在 github.com/layumi/Unive 前面model可以不一样，最后classifier都用同一个。
提供一个baseline， 一方面来验证数据集的有效性，一方面给大家提供一个基础的code，方便大家来修改。
实验结果：
实验结果分几个方面验证：
1、无人机视角是不是比街景定位更好，因为遮挡物更少，同时，无人机还有一个优势就是能拍到屋顶。实验验证了这一点。
3、定性结果：（左边无人机目标定位；右边无人机导航）
4、我们的模型能不能拿去在真实的无人机视频中运用呢？
我们分了两个实验， 真实无人机图像搜我们模拟无人机图像：
和 真实无人机图像搜 卫星图：
可以看到还是很work的。
5、对比几个常用baseline，包括contrastive loss， triplet loss等：
6、Instance loss 在其他数据集上（都用VGG16）：
7、迁移到传统小的图像检索数据集：
其中Fs是学卫星图+无人机图的子网络， Fg是地面图的子网络。我们猜想，Fs学的是垂直方面的变化，Fg学的还是水平方向的变化，所以针对传统建筑数据集，地面上拍摄的，还是地面的网络Fg更好一些。
参考资料：
论文地址：https://arxiv.org/abs/2002.12186
代码地址：https://github.com/layumi/University1652-Baseline
数据集下载：填写 Request（https://github.com/layumi/University1652-Baseline/blob/master/Request.md） 发送到 [email protected]
探索无人机图像：
https://raw.githubusercontent.com/layumi/University1652-Baseline/master/docs/index_files/sample_drone.jpg
探索卫星图：
https://raw.githubusercontent.com/layumi/University1652-Baseline/master/docs/index_files/sample_satellite.jpg
探索街景图：
https://raw.githubusercontent.com/layumi/University1652-Baseline/master/docs/index_files/sample_street.jpg
遥感与航空影像处理识别交流群
关注最新最前沿的遥感、航空、航天图像处理、分类、识别、检测、分割等技术，扫码添加CV君拉你入群，（如已为CV君其他账号好友请直接私信）
（请务必注明：航拍）
喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。
（不会时时在线，如果没能及时通过验证还请见谅）
长按关注我爱计算机视觉