吴恩达-深度学习笔记1

第一章 线性回归

1.2

Ex1: 线性回归用于预测：Housing Price Prediction

修正线性单元：ReLU（修正指的是取不小于0的值）

上图为ReLU函数

上图为一个基本神经单元 中间层为隐藏单元 与每个x变量都有关 （不能说第一个隐藏单元只与x1和x2有关？）

 

-》1.3用神经网络进行监督学习

上图为监督学习的一些应用：NN CNN RNN 等

上图为NN CNN RNN

 

结构化数据与非结构化数据：

A.结构化数据是数据的数据库 如下图 这些可以用数据库形式表示的数据

 

B.非结构化数据：音频 原始音频 图像 文本内容等 特征如图像像素和文本中的字母

深度学习让计算机更好地理解非结构化数据 如语音识别 图像处理 自然语言文字处理

 

-》1.4深度学习的为何能收到欢迎？

在数据量小时，凭借算法的细节提升性能，但在数据量大时，深度学习的优势远远大于其他算法

 

第二周 神经网络基础

二分分类

 逻辑回归是一个用于二分分类的算法

下图为如何将训练样本用矩阵表示 一般用列的个数总和表示训练样本数m 行数表示特征数n

 

 

下面是逻辑回归的原理 使用sigmoid函数让概率介于0~1 w 和b为训练得到的参数

 

介绍逻辑回归使用的损失函数L（单个样本）和总体成本函数J  一般的损失函数（平方和）不适用

-》2.4梯度下降算法

损失函数如一个碗的形状

所以 设计了一套梯度下降算法来更新 w 和 b

下图为微积分链式法则（红色箭头）：

-》2.9 下面是逻辑回归的梯度下降算法 如何更新单个样本参数w b(蓝笔部分)

 

-》2.10 m个样本的一次梯度下降算法（从左往右）：

-》2.11 向量化

下图为向量化运算速率： 向量化公式为np.dot(a,b) 时间比非向量化的速率快了300倍

-》2.12常用的np内置向量化函数

-》2.13 向量化逻辑回归 正向传播同时计算m个样本

-》2.14 向量化逻辑回归 梯度输出（右边）

-》2.15 python广播: ex1:其中axis=0表示列相加 =1行相加 然后矩阵的同一列中的每个数除以同一个列的和 求取百分比（小技巧使用reshape确保自己矩阵变成想要的形状）

-》2.15 python 广播

 

广播的一般含义：

2.16 秩为1 数组尽量不要使用

-》2.18损失函数的解释

先是从预测出y帽入手 y帽用来表示y=0和y=1的概率  然后用一个式子合并这两种可能性 并用log来简化式子 合并后的式子不管是哪种情况 都希望概率越大（表明预测结果准确）所以 希望logP大 所以设计二分类逻辑回归的loss函数为-logP 概率越大 loss函数越小 结果越准确！

-》3.1 神经网络概览 用的【】符号表示图层

-3.3计算神经网络的输出 上标【】表示图层 下标表示图层中的编码

  -》3.3每一层维度表示：

-》3.4 多个样本的向量化 横向为不同样本同一隐藏单元 纵向为同一样本的不同隐藏单元

-》3.6 **函数 常用的simoid（一般在二分类的输出层使用） tanh（所有场合更由于sigmoid） ReLU（线性修正单元） leaky ReLU(泄漏修正单元) 后两者最是常用 效果越往后越好 **函数使得求取得到的w b组成的函数能解决非线性问题 所以需要引入非线性**函数

 

-》3.8 **函数的导数

 

—》3.11初始值随机化

-》4.2深层神经网络的反向传播

一个基本逻辑回归二分类流程

-》4.3前向传播

-》4.4深层神经网络 一个样本下的各个参数维度

m个样本参数

-》4.6搭建深层神经网络

-》4.7 超参数（Hyperparameters） 用来控制w 和 b的参数

->4.8和大脑的关系 下图为神经网络的前向和后向传播