Learning from the Past: Continaul Meta-Learning with Bayesian Graph Neural network review
1. 提出问题
现有的基于图网络做meta-learning的方法会有Catastrophic forgetting 和 insufficient robustness的问题, 导致不嗯呢个保持long-term的knowledge,并会造成严重的错误积累。
- Catastraphic forgetting
- insufficient robustness
2. 提出解决方案
针对Catastraphic forgetting的问题,文章采用了联合模型:
采用long-term (GRU)纠正 inter-task的问题;
采用graph neural networks计算short-term intra-class 之间的关联性;
由以上两个思想,设计出一个Continual Graph Neural Network, 可以实现在遇到新的eposides的时候,合理保持并利用重要的prior-imformation.
除此之外,在图网络中边初始化的不确定性是非常常见的,文章又提出贝叶斯方法用于edge inference(边的推理计算);这样可以实现针对不同的任务,分类的权重可以动态的调整。
3. 网络模型
3.1 Continual Graph Neural Networks
连续图网络如图1所示,值得关注的是文章中的几个图更新公式:
- Node Interactions Modeling
- Task History Transition
- Adjacency Feature Update
3.2 Bayes by Backprop for Edge Inference
4. 实验结果
这么高的结果,让别人还怎么做啊,真是的!求作者赶紧把代码放出来学习学习。