coursera Machine Learning--吴恩达--week1 学习笔记

1机器学习分类

1.1监督学习 Supervised learning

（已知经验数据以及其对应的标签）

• 回归 regression （连续值）
• 分类 classidication（离散值）

1.2非监督学习 Unsupervised learning

（有以往数据，但不知道他们的分类）

• 聚类 clustering
• 非聚类 non-clustering

2单变量线性回归

2.1线性回归表示

（以房价为例，房价为连续值，所以是一个回归问题）

• 公式：
  两个θ是位置参数，我们的目的是求出两个参数的值，从而得到一条拟合直线，让该拟合线能够更好地反应输入与输出的关系，是预测更加准确。

那么该如何求参数θ的值才能使得预测更加准确？（预测的准确性体现在预测值和真实值的误差尽量小）———引入代价函数（cost function）

2.2 cost function

• 定义：
  -由此，我们的目的就是使得J（θ）取的最小值，就可以满足预测结果最佳。

那么，如何最小化J? 通过下图J与两个θ的关系 观察：

可以看到，通过不断地改变J（θ）的斜率，上图中心区域斜率最小，J(θ)最小。

3梯度下降 gradient descent

梯度下降：逐步最小化损失函数的过程，就是上图中不断使得函数斜率最小的过程。如同下山的过程，找准下山方向（梯度），每次迈进一步，直至山底（斜率为0）。如果有多个特征，对应多个参数θθ，需要对每一个参数做一次迭代。（注意theta的值需要同时更新）

• 公式：
  学习率：上段公式中的α就是学习率。它决定了下降的节奏快慢，就像一个人下山时候步伐的快慢。α过小会导致收敛很慢，α太大有可能会导致不收敛，震荡。
  

（注意theta的值需要同时更新）

4总结

最简单的机器学习模型（单变量线性回归模型）可分为三步：
1）第一层 模型函数

2）第二层 代价函数

3）第三层 GD法求解参数