DAY1:神经网络基础和深度学习笔记整理
一、Binary Classfication
符号表示:
二、logistic regression
其中w,b为待确定的参数,^y为y(training labels)=1的概率值,所以为了使其落在0~1之间,对y的结果作 sigmoid处理
三、损失函数
损失函数:loss = -(lnlog^y+(1-y)lnlog(1-^y))在单个训练样本上定义的,衡量在单个训练样本上的表现
成本函数:衡量在全体样本上参数w和b的表现(in logistic regression)
四、Gradient Descent
五、计算图
前向传播:
反向传播:
logistic中的反向传播(求导):
m个样本上的梯度下降法:
vectorization(向量化):
vectorization can faster than for loop about 300 times.And if there are other possibility ,don't use for loop.