您的位置: 首页 > 文章 > DL的小Trick DL的小Trick 分类: 文章 • 2024-02-21 14:22:16 文章目录 1 术语 1.1 泛化能力(generalization) 1.2 [:3]这个array的index表示取array的前三个 2 动量(惯性, 前一个梯度的惯性)(前一个梯度和当前梯度进行平行四边形3333) 3 learning rate(刚开始设置大一些, 之后再搞的小一些) 1 术语 1.1 泛化能力(generalization) 从这个模型, 推广到其他模型 如果这个网络的参数是高次方的, 会学到一些噪声样本(因为拟合数据的能力太强了), 那么他的泛化能力就很弱 1.2 [:3]这个array的index表示取array的前三个 2 动量(惯性, 前一个梯度的惯性)(前一个梯度和当前梯度进行平行四边形3333) 3 learning rate(刚开始设置大一些, 之后再搞的小一些)