吴恩达《深度学习-神经网络和深度学习》2--神经网络基础

1.二分类

  对特征X以及y的矩阵一般这样标记：（统一的标记方法会让后续的处理更容易）

X.shape是python中的命令，来确保X矩阵中每一列是一个样本的数据。

2.  逻辑回归为什么引入sigmoid函数

对于线性回归,y可能是任意值，而逻辑回归希望完成的是（离散）分类，即确定什么情况下属于此类而什么情况下不属于此类，对此，很难找到一个实数来划分，若能控制y的取值在0到1之间，通过判断y是否为1来确定分类，那么这个问题就可解了，所以这里引入了sigmoid函数，将实数投影到（0，1）这个区间。

在深度学习里面用w和b来代替机器学习里面的参数theta

3. 逻辑回归的损失函数和成本函数

   (1) 损失函数为什么取log?

    损失函数用来衡量单个样本预测值与实际值的相似度，通常定义为，但这个函数会导致后面优化问题为非凸性的，即会有多个局部最优解，可能找不到全局最优解。

     (2) 成本函数（cost function）用来衡量算法在整个样本集中的表现

4. 梯度下降（Gradient Descent）

由导数的正负来控制下降的方向

5.  神经网络的梯度下降

欲用梯度下降求最优解，需先求偏导，对于神经网络来说求导需要链式法则+反向传播

6. 向量化

用向量代替for循环可以大大提高运行效率

GPU和CPU 都可以使用SIMD进行并行计算，相比CPU来说，GPU更擅长。

7. 用python写code的一些建议

  1）构建矩阵时要标注行列号

import numpy as np

a.np.random.randn(5)  //这样构建的其实并不是一个向量，打印a.shape为(5,),是一个秩为1的数组(rank 1 array)，其转置等于本身，即aT=a,所以后续操作如果将其看作向量，会产生很多问题。可以用a.reshape((5,1))转换成向量形式

a.np.random.randn(5,1)  //推荐这种方式，显示指出行列号，构建向量，a.shape为(5,1).

assert(a.shape=(5,1))  //如果不确定向量的维度，可以使用assert，来确保这是一个列向量( 行向量assert(a.shape=(1,5)))

8. 逻辑回归成本函数详解（选修）

以上是单个样本的损失函数，对于整个数据集来说，其成本函数如下：

计算过程采用的极大似然估计，极大似然估计的求解步骤为：1写出似然函数，2如果无法对似然函数求导，那么就先取对数，3求导，并令偏导为0，4求解模型最优参数。

训练样本独立分布，所以整个样本集的似然函数是P=P(y1|x1)*P(y2|x2)*……*P(ym|xm)，

求其最大值，最理想的做法是求一阶导令其为零，而似然函数为乘积形式，无法通过求导获得最优解，所以取对数令乘积变成求和，且其最优值与原函数保持一致

令似然函数最大等价于对其负值求最小值，这就引出了成本函数。（分类问题的最优解即是令成本函数最小的参数）