automl -综述

#参考文献

综述

（1）2018综述文章：Taking Human out of Learning Applications: A Survey on Automated Machine Learning
原文：yhttps://arxiv.org/abs/1810.13306v1
解读1：http://www.aibbt.com/a/48548.html
解读2：https://www.jianshu.com/p/7df532c436f5

（2）2019综述文章：AutoML: A Survey of the State-of-the-Art
原文：https://arxiv.org/pdf/1908.00709.pdf
解读1（详细）：AutoML：最新技术概览
解读2（简洁有条理）：AutoML自动机器学习：最新进展综述

（3）AutoML技术现状与未来展望

• 静态闭环automl：场景是目前用的最多的场景。该场景是给定数据和度量标准之后，通过AutoML选择出效果最好的模型。该过程没有任何的人工干预，都是算法自动选择的。
  

• 外部知识辅助automl：该场景其实也是静态场景，只不过该场景会从其他任务迁移一些已经做过的知识来作为辅助。
  

• 动态环境automl：现实应用中每天的数据都是不断产生的，任务度量也是不断变化的，所以就有了动态环境AutoML。
  例如常见的推荐系统，每天有新用户注册，又有老用户离开。并且用户的喜好也不断发生变化，这就是典型的动态场景。
  

• 研究热点：
  AutoML热点研究方向主要有两个：效率和 泛化性
  常见的提高效率的方法有如下：
  – 将串行的计算方式改成 同步并行或者 异步串行
  – 提前停止模型训练，避免模型过拟合等现象的产生
  – 使用预训练模型进行热启动
  – 混合优化目标，即将计算代价和损失函数结合起来作为优化目标
  泛化性
  还有一个研究热点是训练模型的泛化性。

• 未来展望
  
  

（4）【小结】除了网络搜索(NAS)，AutoML对深度学习模型优化还有哪些贡献？