深度学习之微调

微调流程:

 

  1. 在源数据集上预训练一个神经网络模型,即源模型
  2. 创建一个新的神经网络模型(目标模型)。它复制源模型上除了输出层外的所有模型设计与参数。假设这些模型参数包含了源数据集上学习到的知识,并且这些知识同样适用于目标数据集。

         为什么不用源模型的输出层? 它与源数据集的标签紧密相关,不用。

    3. 为目标模型添加输出大小为目标数据集类别数的输出层,随机初始化该层的模型参数。

    4. 在目标数据集上训练目标模型,从头训练输出层,其余层参数都基于源模型的参数微调得到。

深度学习之微调