邱锡鹏 神经网络与深度学习课程【二】
神经网络
生物的神经网络:主要是由生物神经元构成 先了解生物神经网络如何学习
人工神经元 输入通过加权进入**函数,**函数早期为饱和函数 需要连续
人工神经网络的搭建 **规则指就是输入输出之间非线性的函数
学习算法一般为BP 但是 拓扑结构变化很灵活
根据拓扑结构的不同,大体上分为三种类型,但是大多数网络都是复合型结构,即一个神经网络中包括多种网络结构 图网络更为复杂,应用的范围更广
神经网络与复合函数的联系
神经网络可以很好的解决贡献度分配问题 主要可以利用梯度下降算法 通过偏导数
神经网络的发展史
1.模型提出
2.冰河期
3.复兴
4.流行度降低
5.深度学习的崛起
多个领域发展
机器学习概述
机器学习 相等于 构建一个映射函数
机器学习定义:通过算法使得机器能从大量数据中学习规律从而对新的样本做决策 从函数集合通过学习算法在大量数据上找到表现最好的那个函数
机器学习的三要素:模型、学习准则、优化
常见的机器学习问题:回归、分类、聚类(前两个为监督学习、后一个为无监督学习)
以线性回归为例:
模型:
损失函数
学习准则
最优化问题的解法:梯度下降法:
随机梯度下降 和 Mini-Batch GD
机器学习与优化的关系
如何减少泛化错误:正则化:所有损害优化的方法都是正则化
最常用是 提前停止