Zero-Shot Multi-View Indoor Localization via Graph Location【2020】
Graph Location Networks (使用graph、multi-view、indoor)
整体系统框架:
再建图的时候已经踩好了采集点,为每个采集点进行编号,这样localization问题就变成了每次query的时候在哪个采集点的概率问题(这样就是一个分类问题)
因此输出的position是一个有损的(和database中的采集点的密度有关)
3 METHODOLOGY
系统输入一系列query image x,通过关联X(database的image),输出可能位置y(1,2,3,4…k),得到最后最大的概率的位置。
文中的query image 是在同一个地点的四张图(前后左右(其实也可以环视采样或者使用全景图???))
3.2 Standard Graph Location Networks
整体网络包含三部分:1. 特征提取模型。2. 位置预测模型。3.确定精确位置网路
3.2.1 Feature Extraction Module.
首先类似传统的feature 提取方案,将四张图(前后左右)输入CNN网络,得到他们的heat map
3.2.2 Message Passing Module.
图神经网络(GNNs)能够聚集相邻节点的信息并相应地更新节点的隐藏状态(哎?那么在image retrieval的时候是不是可以加上gnn网络融合多个邻域节点的信息进行query,这样精确度将会更高呀???)
更新heatmap公式:(核心思想就是每个节点融合了邻域之间的隐藏信息)
3.2.3 Location Prediction Module
最后将gnn输出的feature通过全链层直接进行多分类,这里不难想出使用交叉熵损失:
整体网络框架如下:
3.3 Zero-Shot Graph Location Networks
there are three key steps to perform zero-shot indoor localization:
1.训练一个map to vertor的编码器
2.训练一个融合1中的编码器+gln的function
3.zero short 识别
3.3.1 Map2Vec Location Embedding
这个编码器指的是将map中的位置信息编码,比如对map进行采样:
注意!!!!该网络的所有信息只有位置(x,y),如果是3d可以是(x, y, z)
3.3.2 Compatibility Function
学习image 和上述位置graph融合函数,使正确的位置概率最大:(这里没太懂???????)
最后预测方程: