ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

目标跟踪基础与智能前沿

寻找 目标跟踪方向的小伙伴,如果你苦于没有地方可以和同方向的小伙伴交流,我们创建了一个交流群,点上方链接可以进入,每周的交流活动通过该号宣传,群里随时随地可以展开讨论,无论是学术交流,还是环境配置,实验讲解,欢迎加入我们,一起交流进步!
点击上方链接,微信关注回复"数据集",获得目标跟踪几大经典数据集下载链接。


ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
跨模态信息 检测 和

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
1、跨模态特征调制问题:

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
特征调制, 特征选择,

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

CMMS , 调制选择, 跨模态信息融合、优化。

多级串联得到精细预测结果, CMS模块中报刊几个部分,

首先通过跨模态融合 RGB特征,等高级特征后, 通过自适应特征融合, 进行 预测。

attention 预测机制, 进行准确的定位。

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
RGBD , D 是增强。

对RGB特征进行

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
如何从海量数据中选择?

空间信息、通道信息的转折、 通道信息的选择。

一开始输入的特征有很多莫泰, 在传统方法中, 通道选择采用通道Attention的趋势。

建模输入特征,单一模态的关系。

通道选择的过程,可以建模不同跨模态信息的相关性

SE-Net , 获得attention 。 然后获得依赖关系的提取。

除了选择有利通道,还需要保持空间特征中的有效信息: 门控注意力引导多模态信息融合过程。

像素级权重。

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
位置attention

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
边缘预测过程, 显著性边缘图。

生成 , 作为A头疼提on特征, 关注显著性目标位置。 生成显著性边缘, 得到选择性预测, 经过显著性预测。

选择之后AFS

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation

ECCV 2020预会议 直播笔记| -RGB-D Salient Object Detectionwith Cross-ModalityModulation
深度相机采集的数据为主。