DAY1:神经网络基础和深度学习笔记整理

一、Binary Classfication

符号表示: 

   DAY1:神经网络基础和深度学习笔记整理DAY1:神经网络基础和深度学习笔记整理

DAY1:神经网络基础和深度学习笔记整理

DAY1:神经网络基础和深度学习笔记整理

logistic regression

DAY1:神经网络基础和深度学习笔记整理

 DAY1:神经网络基础和深度学习笔记整理

其中w,b为待确定的参数,^y为y(training labels)=1的概率值,所以为了使其落在0~1之间,对y的结果作                     sigmoid处理

三、损失函数

损失函数:loss = -(lnlog^y+(1-y)lnlog(1-^y))在单个训练样本上定义的,衡量在单个训练样本上的表现

DAY1:神经网络基础和深度学习笔记整理

成本函数:衡量在全体样本上参数w和b的表现(in logistic regression)

DAY1:神经网络基础和深度学习笔记整理

四、Gradient Descent

DAY1:神经网络基础和深度学习笔记整理DAY1:神经网络基础和深度学习笔记整理

DAY1:神经网络基础和深度学习笔记整理

五、计算图

前向传播:

DAY1:神经网络基础和深度学习笔记整理

  反向传播:

       DAY1:神经网络基础和深度学习笔记整理

logistic中的反向传播(求导):

DAY1:神经网络基础和深度学习笔记整理

DAY1:神经网络基础和深度学习笔记整理

m个样本上的梯度下降法:

DAY1:神经网络基础和深度学习笔记整理

DAY1:神经网络基础和深度学习笔记整理

vectorization(向量化)

DAY1:神经网络基础和深度学习笔记整理

vectorization can faster than for loop  about 300 times.And if there are other possibility ,don't use for loop.

DAY1:神经网络基础和深度学习笔记整理