人工神经网络
神经网络
------提出----：
• 连接主义观点
– 核心：智能的本质是连接机制
– 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统
– ANN力求从四个方面去模拟人脑的智能行为
• 物理结构
• 计算模拟
• 存储与操作
• 训练
人工神经网络(ANN)的特点：
• 信息的分布表示
• 运算的全局并行和局部操作
• 处理的非线性
人工神经网络
• 定义
– 神经网络是一个并行和分布式的信息处理网络。它是以处理单元为节点，用加权有向弧相互连接而成的有向图。处理单元是对生理神经元的模拟，而有向弧是对轴突-突触-树突对的模拟。有向弧的权重表示两处理单元间相互作用的强弱
• 它一般由大量神经元组成
• 每个神经元只有一个输出，可以连接到很多其他的神经元
• 每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数
• 强调：
– 并行、分布处理结构
– 一个处理单元的输出可以被任意分枝，且大小不变；
– 输出信号可以是任意的数学模型
– 处理单元完全的局部操作
人工神经元模型：
通用模型
该神经元由多个输入Xi,i=1,2……n和一个输出y组成
Y:神经元输出
求和操作（中间状态à输入信号的权和）θ:神经元单元额偏置（阈值）,Wi:连接权系数,n：输入信号的个数
响应函数
¨ 响应函数的基本作用
– 控制输入对输出的**作用
– 对输入、输出进行函数转换
--- 将可能无限域的输入变换成指定的有限范围内的输出
常见神经元响应函数
(a) 阈值单元
(b) 线性单元
(c)(d)非线性单元：Sigmoid函数
人工神经网络典型结构:
• 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法
• 人工神经网络连接的几种基本形式
• 前向网络 (a)
输入层的节点不能称之为：神经元
Wij:这一层的第i个神经元和前一层第j个神经元的权值
• 从输出到输入有反馈的前向网络 (b)
• 用来存储某种模式序列
• 层内互连前向网络 (c)
• 限制层内同时动作的神经元；分组功能
• 相互结合型网络 (d)
神经网络的4种典型结构
神经网络基本学习算法（学习-->改变权值）
学习方法
• 学习方法是人工神经网络研究中的核心问题
– 有监督学习
• 网络的输出（模型输出）与期望输出（即监督）进行比较，根据两者之间的差异调整网络的连接权重，最终使差异变小。
– 无监督学习
• 输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等能力。（不知道期望输出）
– 再励学习
学习规则
– Hebb学习规则
如果两个神经元同时兴奋(即同时被**)，则它们之间的突触连接加强
a为学习速率，Vi, Vj为神经元i和j的输出
– Delta（δ）学习规则（梯度下降的一种）
1. 用已知样本作为教师对网络进行学习
2. 学习规则可由二次误差函数的梯度法导出
3. 误差校正学习规则实际上是一种梯度方法
a) 不能保证得到全局最优解
b) 要求大量训练样本，收敛速度慢
c) 对样本地表示次序变化比较敏感
– 梯度下降学习规则
– Kohonen学习规则
– 反向传播学习规则（BP规则）（应用最广泛）
– 概率式学习规则
- 竞争式学习规则（无监督学习规则）
网络的泛化能力
1. 神经网络的训练是一个网络对训练样本内在规律的学习过程，而对网络进行训练的目的主要是为了让网络模型对训练样本以外的数据具有正确的映射能力。
2. 神经网络在训练完成之后输入其训练样本以外的新数据时获得正确输出的能力。
影响泛化能力的因素
1. 训练样本的质量和数量
2. 网络结构
3. 问题本身的复杂程度