您的位置: 首页  >  文章  >  论文笔记 —— 《A Survey on Transfer Learning》

论文笔记 —— 《A Survey on Transfer Learning》

分类: 文章 • 2024-01-27 22:13:34

论文笔记 ——《A Survey on Transfer Learning》

知识点

  1. 迁移学习存在的领域：最显著的是数据挖掘(例如ACM KDD、IEEE ICDM和PKDD)、机器学习(例如ICML、NIPS、ECML、AAAI和IJCAI)以及机器学习和数据挖掘的应用(例如ACM SIGIR、WWW和ACL) 。
  2. 域差异：用不同的特征空间或边际分布概率来刻画，即两个指标特征、分布。
  3. 域相关：两个域的特征空间之间存在显式或隐式关系。
  4. 负迁移：知识迁移对目标学习产生负面影响。
  5. 目前关于迁移学习的大多数工作都集中在应该迁移什么以及如何迁移上，方法是隐式地假设源域和目标域是相互关联的。大多数现有的迁移学习算法都专注于改进源和目标域或任务之间不同分布的泛化，假设源域和目标域之间的特征空间是相同的。
  6. 归纳迁移学习 inductive transfer learning：
    无论源域和目标域是否相同，目标任务都与源任务不同。 在这种情况下，需要目标域中的（大量/没有）标记数据来诱导目标域中使用的目标预测模型。
  7. 转导迁移学习 transductive transfer：
    源任务和目标任务是相同的，而源域和目标域是不同的 （则分特征/分布两种情况不同）。在这种情况下，目标域中没有可用的标记数据，而源域中有很多可用的标记数据。
  8. 无监督迁移学习 unsupervised transfer learning：
    目标任务不同于源任务，但与源任务相关，主要解决目标域内的无监督学习任务。 在这种情况下，在训练中源域和目标域都没有可用的标记数据。
    论文笔记 —— 《A Survey on Transfer Learning》论文笔记 —— 《A Survey on Transfer Learning》9. 根据内容又可分为四类：
  • 实例迁移：假设源域中的某些数据部分可以通过重新加权在目标域中进行学习而被重用。【实例重加权】【重要性抽样】
  • 特征表示迁移：将跨域的知识编码为在目标领域所学习的新特征。
  • 参数迁移：假设源任务和目标任务共享模型超参数的一些参数或先验分布。传递的知识被编码到共享的参数或先验中。
  • 关系知识迁移：假设源域和目标域中的数据之间存在类似的关系，传递数据间关系。论文笔记 —— 《A Survey on Transfer Learning》
  1. 以上三个分类四个内容可相互配对，每种情况都有自己的解决方式。
  2. 待解决问题：如何避免负迁移？
  • 基于合适的可迁移性度量，我们可以选择相关的源域或任务来提取知识，从而学习目标任务。
  • 基于距离度量，我们可以对域或任务进行聚类，这可能有助于度量可移植性。

相关推荐