机器学习笔记(XV)神经网络(II)感知机和多层网络

感知机(Perceptron)

组成

感知机(Perceptron)由两层神经元组成
输入层:接收外界的输入信号,传递给输出层,
输出层:输出层时M-P神经元(阈值逻辑神经元)
图解:
机器学习笔记(XV)神经网络(II)感知机和多层网络

感知机和与或非运算

前提

输入向量:

x=(x1;x2)=(x1x2)

权值向量:
w=(w1;w2)=(w1w2)

输出结果:
y=f(xTwθ)=f(iwixiθ)

f=sgn(x)={1,x0;0,x<0;

  • 与运算:(x1x2):令w1=w2=1,θ=2,则y=f(1x1+1x22),则:x1=x2=1时,y=1;
  • 或运算:x1x2:令w1=w2=1,θ=0.5,则y=f(1x1+1x20.5),则:x1=1或者x2=1时,y=1;
  • 非运算:¬x1:令w1=0.6,w2=0,θ=0.5,则y=f(0.6x1+0x20.5),则:x1=1,y=0;x1=0,y=1;(其实这里w1可以取其他值)

权值调整

权重和阈值可以通过学习得到,如果将θ作为固定输入为-1.0的”哑结点”其对应的权重为wn+1,这样权重和阈值的学习可以统一为权重学习。
输入向量:

x^=(x1;;xn;1)=x1xn1

权值向量:
w^=(w1;;wn;θ)=w1wnθ

输出结果:
y=f(x^Tw^)

调整方法

wiwi+Δwi,Δwi=η(yy^)xi

其中η称为学习率

缺点

不能处理异或问题,

异或问题

两层感知机:
机器学习笔记(XV)神经网络(II)感知机和多层网络