迁移学习Transfer Learning学习笔记（1）
学习资料：
迁移学习简明手册 作者：王晋东（十分感谢大佬的简明手册哇T T
这边就是做一个简单的笔记记录。
也可以看看b站上的小姐姐的 深度迁移学习综述 介绍视频：https://www.bilibili.com/video/BV1ct41167kV?from=search&seid=7812975734162869324
什么是迁移学习
让机器将在已知情况中学到的知识和积累的经验，迁移到其他不同但相关的此前没有遇到的情况中解决新的问题。
核心在于：找到两者的相似性，不变量。
迁移学习要解决什么问题
- 大数据与少标签之间的矛盾：迁移数据标注
- 大数据与弱计算之间的矛盾：模型迁移
- 普适化模型与个性化需求之间的矛盾：自适应学习
- 特定应用的需求：相似领域知识迁移
迁移学习的困难点
数学上的问题：如何衡量两个领域不同数据集间的距离
负迁移问题，在实时迁移学习时，实时的效果可能会受源领域的错误影响而下降。
通用的迁移学习算法能够指导输出一个自带迁移性能的模型
无法做到自动化迁移学习，即每遇到一个新领域，如何选择源领域/迁移学习算法/迁移策略
迁移学习的分类
- 特征空间（标签空间）同构/异构
- 目标域中是否有标签数据：有监督迁移学习，半监督迁移学习，无监督迁移学习（重点关注）
- 离线（源域目标域均给定，迁移一次即可）/在线（数据动态加入，迁移算法也要不断更新）
- 基于迁移学习的方法的分类：Instance实例，Feature特征，Model模型，基于关系的算法
传统的方法：
深度学习下的方法：（slide来自于视频）
基于对抗的，基于差异的，基于重构的（这里没有仔细了解，有空仔细看看
迁移学习的应用
finetune：
计算机视觉上的应用：
文本分类
时间序列
医疗健康
…
一些提到的算法（视频中）
基于差异的
无监督自适应分布
改进版：
改进：
改进：
考虑条件分布的差异
基于对抗的
改进：
类间对齐，引入语义信息进行对齐
重构方法
其他
多步迁移，异构迁移
下一章的学习笔记来提相关算法
提到的资料/文献
《A Survey on Transfer Learning》，Sinno Jialin Pan，Qiang Yang，
https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf
《迁移学习简明手册》，王晋东，
http://jd92.wang/assets/files/transfer_learning_tutorial_wjd.pdf
深度迁移学习综述
Wang, M., & Deng, W. (2018). Deep visual domain adaptation: A survey. Neurocomputing, 312, 135–153. https://doi.org/10.1016/j.neucom.2018.05.083
http://whdeng.cn/papers/deep%20domain%20adaptation%20tutorial-small.pdf
还有一些slide中的文献就不一一列出了