吴恩达之神经网络和深度学习2.2logistic回归
Logistic回归
Logistic回归是在输出y均为0或1的监督学习问题中使用的一种学习算法。Logistic回归的目的是使预测和训练数据之间的误差最小化。
例如:猫或不是猫
给定由特征向量x表示的图像,该算法将评估猫在该图像中的概率。
给定 x,y^=p(y=1|x),其中0≤y^≤1
Logistic回归中使用的参数如下:
输入特征向量:x∈Rnx,其中nx是特征数
训练标签:y∈ 0,1
权值:w∈Rnx,其中nx是特征数
阈限:b∈R
输出:y^=σ(wTx+b)
Sigmoid函数:s=σ(wTx+b)=σ(z)=1/(1+e-z)
(wTx+b)是一个线性函数(ax+b),但是由于我们正在寻找[0,1]之间的概率约束,所以使用了sigmoid函数。函数是有界的[0,1]之间,如上图所示。
图中的一些观察:
如果z是一个非常大的正数,那么σ(z)=1
如果z是一个非常小或者非常大的负数值,那么σ(z)=0
如果z=0,那么σ(z)=0.5