深度学习(迁移学习详解)

什么是迁移学习

迁移学习是指将一个场景下学习到的知识迁移到另一种场景去应用。

为什么要进行迁移学习

1.使用深度学习技术解决问题的过程中,最常见的障碍在于,因为模型有大量 的参数需要训练,因此需要海量训练数据作支撑。
2.在面对某一领域的具体问题时,通常可能无法得到构建模型所需规模的数据。
3.借助迁移学习,在一个模型训练任务中针对某种类型数据获得的关系也可以 轻松地应用于同一领域的不同问题。
深度学习(迁移学习详解)

迁移学习的应用场景

深度学习(迁移学习详解)

迁移学习的种类

源数据和目标数据都有标签

模型Fine-­‐tune

深度学习(迁移学习详解)

训练方式

保守训练/Conservative Training

保守训练又可以分为参数很接近和输出很接近两种。参数很接近是指在应用到目标数据集中将各层的参数波动限制在一定范围内;输出很接近的本质也是保证参数很接近。
深度学习(迁移学习详解)

层转移/Layer Transfer

深度学习(迁移学习详解)
深度学习(迁移学习详解)

Multitask Learning

Multitask Learning不仅在乎网络模型应用在目标数据的结果,也在乎模型应用在源数据的结果。
深度学习(迁移学习详解)

源数据有标签,目标数据无标签

深度学习(迁移学习详解)

域对抗/Domain-­‐adversarial training

深度学习(迁移学习详解)

零样本学习/Zero-­‐shot Learning

深度学习(迁移学习详解)
深度学习(迁移学习详解)
深度学习(迁移学习详解)
深度学习(迁移学习详解)
深度学习(迁移学习详解)

其他情况

深度学习(迁移学习详解)