《数据挖掘（完整版）》笔记——人工神经网络

1. 感知机

感知器模型的输出可以用如下数学方式表示：

$\hat y = sign(w_dx_d+w_{d-1}x_{d-1}+\cdots+w_2x_2+w_1x_1-t)=sign(w_dx_d+w_{d-1}x_{d-1}+\cdots+w_2x_2+w_1x_1+w_0x_0)=sign(\mathbf w \cdot \mathbf x)$y^​=sign(wd​xd​+wd−1​xd−1​+⋯+w2​x2​+w1​x1​−t)=sign(wd​xd​+wd−1​xd−1​+⋯+w2​x2​+w1​x1​+w0​x0​)=sign(w⋅x)

其中，$w_0=-t, x_0=1$w0​=−t,x0​=1
注：该公式所描述的感知器模型关于参数$\mathbf w$w和属性$\mathbf x$x是线性的

学习感知机模型

算法主要计算的是第7步中的权值更新公式：

$w_j^{(k+1} = w_j^{k}+\lambda(y_i-\hat{y_i^{(k)}})x_{ij}$wj(k+1​=wjk​+λ(yi​−yi(k)​^​)xij​

$w^{(k)}$w(k)是第 k 次循环后第 i 个输入链上的权值，参数$\lambda$λ称为学习率，$x_{ij}$xij​是训练样例$\mathbf{x_i}$xi​的第 j 个属性

如果$\lambda$λ接近0，那么新权值主要受旧权值的影响；相反，如果$\lambda$λ接近1，则新权值对当前循环中的调整量更加敏感。在某些情况下，可以使用一个自适应的$\lambda$λ值：$\lambda$λ在前几次循环时相对较大，而在接下来的循环中逐渐减小