DeepLearning学习笔记（一）--神经网络基础

顺序可能有点儿乱。。。

1；ReLU函数（修正线性单元），“修正“的意思即”大于0“

    函数图像为：（左边趋近于0，避免出现负值）

2；

3；CNN：卷积神经网络

      RNN：循环神经网络（在对于序列数据sequence data的处理方面效果显著，如：语音audio，语句翻译，自然语言处理）

      而对于image， radar info（无人驾驶）等，混合神经网络更适用

4；结构化数据（structured data）：有数据库的数据（表格、房价、卡路里等）

     非结构化数据（unstructured data）：如image data，audio，text……

5；正向（反向）传播过程：forward (backward) propagation step

6；举例：图像的存储，为Red，Green，Blue三个64*64矩阵（像素为64*64）

                 把像素值取出放入一个特征向量X，一个有64*64*3=12288行的列向量

                 则此时输入的特征向量的维度为n=nx=12288

7；(x, y)：一个单独的样本

      x：nx维的特征向量     标签y：0或1

      m：训练集的规模，即训练集由多少个训练样本组成

      m_train：训练集样本数量

      m_test：测试集样本数量

      ：样本一的输入和输出

      ：样本m的输入和输出

      矩阵X：

8；Logistic回归模型：一个用于二元分类的算法（预测结果仅为0或1）

     Given：x，want：  = a = P( y=1| x）

     x是一个维向量，，

     是当输入特征满足条件时，y=1的概率

     给定logistic回归的参数是 和 

     损失函数（loss(error) function）：

     成本函数（cost function）：

     成本函数，用于在全部训练集上，衡量参数w和b的效果

     我们要做的：找到w和b是的J(w, b)尽量小

      ：sigmoid函数  当z越大，值越接近1；z越小，值越接近0

     

9；梯度下降法：gradient descent algorithm

      

      用任意值初始化之后，沿着梯度最大的方向向下走

      

       假设输入一个有两个特征x1、x2的样本，