机器学习笔记week4(Andrew NG)

martin

概念介绍

如图所示，每一个神经元(输入层除外)都是一个逻辑回归模型，也即为感知机。

机器学习笔记week4(Andrew NG)

神经网络一般有三个模块或者层次。分别是输入层、隐含层、输出层。这里需指出的是隐含层往往不只有一层。除输出层外，其他每层一般都含有一个偏置项“bias”，它一般都被置为1。

机器学习笔记week4(Andrew NG)
可以看到如图中所描绘的那样，每一层的单个节点的输入都是由前一层所有的节点的值与权值θ的乘积之和，再经过一个sigmoid函数所得。这里值得注意的是，NG给出了一个计算θ维度的公式：

维 度 = S j + 1 * S j + 1

j为θ的层数或者上标，比如我这里求θ(2)的维度，那么Sj+1=S3=1为第三层神经元的个数即为1，Sj+1=S2+1=4为第二层的神经元个数+1即为4，所以θ(2)的维度为1*4。

选择题1：

机器学习笔记week4(Andrew NG)

选择题2：

机器学习笔记week4(Andrew NG)

机器学习笔记week4(Andrew NG)

如图，可以看到如果使用单个逻辑回归，对于下面图片中的圆圈和叉叉是不能够用一条直线来分开的，也即该问题是线性不可分问题，那么这种问题我们叫做XOR问题，即异或问题。所以对于单个的神经元(感知器或者逻辑回归)是不能解决该问题的，所以由多个神经元(或者说感知器)组成的神经网络就应运而生。

接下来我们来看看，单个的神经元到底是怎么发生作用的？

AND问题
OR问题
NOT问题
XNOR问题

可以看到，XNOR解决了之前的线性不可分的问题，将负样本区分了出来，所以同时也把正样本分了出来(XOR是XNOR问题的NOT)。而我们看到，要想解决XNOR或者XOR仅有一层网络是不可行的，必须要组合多层感知器才可以，于是就变成了多层感知器也就是我们的神经网络。