逻辑回归与神经网络的代价函数的区别与联系
逻辑回归与神经网络的代价函数的区别与联系
逻辑回归算法
逻辑回归是一种分类算法，其思想是根据特征值来确定样本属于某一类的概率，其函数表达式如下：
其中g函数的图像如下：
可以看出当z的值偏离0点后，g(z)的值会急剧趋于0或1，从而达到分类效果。
逻辑回归的代价函数
逻辑回归的代价函数如下：
J(θ）=
其中θ为向量，m为样本数量，理解这个函数需要将其分为两个部分，①为1时，即真值为1，则④式为0，这是预测值②式越接近0，则代价越大（因为前面有-号），同理真值为0时，③式为0，预测值越接近1，则代价越大。
神经网络算法在分类问题中的代价函数
我们可以运用神经网络算法将一些样本分为k类：
最后一层四个结点分别表示这个样本是否属于该类。
那么代价函数就可以表示成这样：
可以看出和逻辑回归的代价函数相似。其中有一点区别，①处的k是分类的总数，我们需要把每类的误差都算进去。②处的θ略有不同，这里指的不是一个向量，而是一个矩阵，包含所有层的参数。