模式识别01《神经网络》
目录
人工神经网络
- 人工神经网络是一个并行、分布式处理结构,由处理 单元及其称为联接的无向通道互连而成。
- 这些处理单元具有局部内存,可以完成局部操作,该 操作由输入至该单元的信号值和存储在该单元中的信 号值来确定。
- 每个处理单元有一个单一的输出联接,输出信号可以 是任何需要的数学模型。
是一种模仿生物神经网络的结构和功能的数学模型或计算模型。
Rumelhart等提出多层网络的学习算法—BP算法(1986)
加拿大多伦多大学教授,机器学习领域的泰斗 Geoffery Hinton 及其学生 Ruslan Salakhutdinov 在《科学》上发 表了一篇论文开启了深度学习在学术界和工业界的新浪潮!
深度学习:可整合大量能够基于相同方式训练 的模块和组件,并构建拥有学习能力的机器。
传统机器学习与深度学习主要区别:特征提取。
人工神经元
处
理单元
的
功能
–对每个输入信号进行加权处理(确定其强度);
–确定所有输入信号的组合效果(求和);
–确定其输出(转移特性,即激励特性);
拓扑结构
单
层网络
–
输入信号表示为向量:
x
=
[
x
1
,
x
2
,
…,
x
d
]
T
,其中每一 分量通过加权连接到各个结
点
。
–
每一个结点均可产生一个加权
和
。
–
输入和结点间采用全连
接
,
并且都是前馈连
接
。
实际
的人
工神
经网
络和
生物
神经
网络
中有
些连
接 可能不存在。
单层网络
将偏移(阈值)当成权值。
多层网络
虽然目前有很多网络模型,但它们的结点基本上都是 按层排列的。这一点模仿了大脑皮层中的网络模块。
–多层网络是由单层网络进行级联构成的,即上一层的 输出作为下一层的输入。
接收输入信号的层称为输入层。
–产生输出信号的层称为输出层。
–中间层称为隐含层,不直接与外部环境打交道。
隐含层的层数可从零到若干
层。
实际情况中,层与层之间可能有部分连接的情
况。
–接收输入信号的层称为输入层。
–产生输出信号的层称为输出层。
–中间层称为隐含层,不直接与外部环境打交道。
隐含层的层数可从零到若干
层。
实际情况中,层与层之间可能有部分连接的情
况
。
网络训练
任
务:
–
给定
n
个观测数据
{
x
k
}
,
训练网络的各层结点之间的 连接权重
w
ij
(
含偏置项
)
–
训练:相继加入训练样
本
,
并按预定规则调整网
络
各
权重
。
有
监督的
训
练
–
希望
训
练
这
样一
个
网
络
,对
每
个
训
练数
据,
通
过该
网 络计算之后
能尽可能输出其原先给定的
值
。
无
监督训练
–无监督的训练不要求有目标向量,网络通过自身的“经历”来学会某种功能。
–其目的是训练一个网络,使其产生的输出具有某种可 理解的规律性。
–从本质上讲,该训练过程是抽取样本所隐含的统计特征。