您的位置: 首页 > 文章 > cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

分类: 文章 • 2024-09-26 22:48:46

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

**函数

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

sigmoid函数的缺点

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

tanh

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

Relu优点

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

Leaky Relu

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

ELU

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

Maxout

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

**函数使用意见

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

数据预处理

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

PCA和白话

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

图片数据的使用意见：通常只做中心化处理，不做标准化方差和PCA、白化

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

权值初始化：具有零均值和1E-2标准偏差的高斯分布

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

批量归一化

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

超参数优化

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

总结

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

优化算法的拓展

加入动量项，不易陷入鞍点

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

cs231n----训练神经网络（**函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）