神经网络学习笔记
@吴恩达神经网络学习笔记DAY1
回顾一下logistic回归方程:
一、logistic回归模型可以如下表示:
这是在只有一种样本的情况下(x,y)为样本,x为输入参数,y为基本真值,即为每个样本的真实输出结果;w是样本中的特征(如像素等),是一个n维的向量; 为算法的输出值,它的结果因满足于;
二、logistic回归的损失函数
在给出的m个样本中,,,…,希望有一个函数能实现每个样本输入时,能保证,因此提出了一个损失函数,该函数表示如下:
以m个样本为基础,L即为每一个样本i的损失函数,J(w,b)为样本的成本函数。
上式所表达的含义为:对于每一个样本i的输出结果,需要使与y的误差最小。若,则由损失函数可以得出,当时,且需要最小,则趋于零。。
三、梯度下降法
为了保证最小,需要不断的根据梯度的方向更新w和b的值。
其中,为更新率。
四、计算图的正向与反向
对一个计算式,可以将其进行分解为:,,。将输入值进行输入,经过三次累计,则可得到,此为正向的表达。若将此计算图反向表达,则可将其描述为对式中参数的求导。
五、logistic回归的梯度下降法
逻辑回归公式:
对于单个样本说:
这里只采用了两个特征值。
当含有m个样本时,梯度下降法可表示为如下:
上述算法中,将的初值设为0;对所有的样本进行循环,在上一张图中,反向求导已经得出了的表达式,因为有m个样本,所以需要将所有样本的值进行平均以获得最终结果;得到的结果:即为w,b减小或增加的梯度方向(为了使结果达到最小);不断的循环以上步骤,直至的值使成本函数达到最小。
上述算法存在一定的缺陷,即为需要的循环过多,此算法中仅使用了两个特征值,若算法的特征值为n,则循环需要,之后会通过向量化的方式减少for循环的使用。