【迁移学习】

总览图

4月21日 ，迁移学习， 2017年很火，以为会研究的越来越多，实则现在初了Fine-tune在用的话，其余貌似不在工业界被使用（只是感觉，没有出处，大家自我辨识）

主要是想知道一般迁移学习有哪些方式和应用，在工业界用的多的还是Fine-tune 和Domain-adversarial training (域对抗)

ppt如下：

【0】前言

 

 

 【1】模型Fine-tune

(1)保守训练

 

(2)层迁移

    

【2】Multitask Learing

，

Multitask  Learning  -­‐ 多语种语音识别，其参考论文：

  similar  idea  in  translation：DaxiangDong,  Hua  Wu,  Wei  He,  Dianhai Yu  and  Haifeng Wang,  "Multi-­‐task  learning  for  multiple  language  translation.“,  ACL  2015

Andrei A. Rusu, Neil C. Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, Raia Hadsell, “Progressive Neural Networks”, arXiv preprint 2016

Chrisantha Fernando, Dylan Banarse, Charles Blundell, Yori Zwols, David Ha, Andrei A. Rusu, Alexander Pritzel, Daan
Wierstra, “PathNet:  Evolution  Channels  Gradient  Descent  in  Super  Neural   Networks”, arXiv preprint, 2017

【3】Domain-adversarial    training

 

Yaroslav  Ganin, Victor  Lempitsky,  Unsupervised  Domain  Adaptation  by  Backpropagation,  ICML,  2015
Hana  Ajakan, Pascal  Germain, Hugo  Larochelle, François  Laviolette, Mario  Marchand,  Domain-­‐Adversarial  Training  of  Neural  Networks,  JMLR,  2016

【4】零样本学习/Zero-­‐shot  Learning

http://evchk.wikia.com/wiki/%E8%8D%89%E6%B3%A5%E9%A6%AC

Melvin  Johnson,   Mike  Schuster,  Quoc  V.  Le,  Maxim  Krikun,  Yonghui Wu,  Zhifeng Chen,  Nikhil  Thorat.  Google’s   Multilingual   Neural  Machine  Translation  System:  Enabling  Zero -­‐Shot  Translation,  arXiv preprint  2016

【5】Self-­‐taught  learning

尝试通过无监督方法从源数据抽取更好的表达、对目标数据也进行更好地表达

更多零样本学习的paper
• Mark  Palatucci,  Dean  Pomerleau,  Geoffrey  E.  Hinton,  Tom  M.  Mitchell,  “Zero-­‐shot  Learning  with  Semantic  Output  Codes”,  NIPS  2009
• Zeynep Akata,  Florent  Perronnin,  Zaid  Harchaouiand  Cordelia  Schmid,  “Label-­‐Embedding  for  Attribute-­‐Based  Classification”,  CVPR  2013
• Andrea  Frome,  Greg  S.  Corrado,  Jon  Shlens,  Samy  Bengio,  Jeff  Dean,  Marc'Aurelio Ranzato,  Tomas  Mikolov,  “DeViSE:  A  Deep  Visual-­‐Semantic  Embedding  Model”,  NIPS  2013
• Mohammad  Norouzi,Tomas  Mikolov, Samy  Bengio, Yoram Singer, Jonathon  Shlens, Andrea  Frome, Greg  S.  Corrado,Jeffrey   Dean,  “Zero-­‐Shot  Learning  by  Convex  Combination  of  Semantic   Embeddings”,  arXiv preprint  2013
• Subhashini  Venugopalan,Lisa  Anne  Hendricks,Marcus  Rohrbach,Raymond  Mooney,Trevor  Darrell,Kate  Saenko,  
“Captioning  Images  with  Diverse  Objects”,  arXiv preprint  2016