【李宏毅-机器学习笔记一】机器学习基本概念 和 regression problem 回归问题

前言：通过学习李宏毅老师的课程，总结出来的学习笔记。
机器学习的步骤
a set of function然后是通过数据集找到goodness function从里面找到一个最合适的function 然后再test，最后就是实现具体的问题。

learning map

regression 回归问题：output 是一个scale（数值，标量）比如预测股票等等
classification分类的问题：binary classification是输出的是 yes or no.
multi—class Classification是要做一个选择题
structured learning：输出很多结构，比如一句话

机器学习的方法：

supervised learning（监督学习）：通过标记数据集来优化function
semi-supervised(半监督学习)：通过标记一部分数据来优化function
unsupervised（不监督学习）：不标记数据
transfer learning（转移学习）：在标记的数据中放入一些与所要实现的功能不相关的数据
reinforcement learning（强化学习）：不会告诉机器，所得到的结论是对还是错，只是会给它的结果打分，让它自己去优化。比如alpha go 就用到了这个方法。

**

regression problem

**
跟着机器学习步骤来：
1.set of function
自己根据题目来建立一个function 比如 y=b+a
其中a b 自己来赋值。不同的a b 就有不同的function由此构成了set of function
2.根据准备好的数据集和定义一个loss function来找到较好的goodness function
**3.pick best function：**计算定义的function和具体数据的差值，来找到一个best function
其中有一种比较通用的方法gradient descent：
先随机找一个w0值。通过计算 -1*学习速率(自己定义的)*L对w的微分在此时x的值 这个值再+w0就是下个w1的值。一直进行下去直到 L对w的微分在这个w的值为零为止。
其实这个也有一点问题：此时这个点有可能是一个local minimal 也有可能是一个global minimal 也有可能就是一个普通的点（也可能微分即斜率 是零）
当找到best function 通过准备好的数据集，再算出 average error 平均错误值。通过average error 来评判这个function是否是最好的function。
4.实现regression
对问题进行预测，通过找到的function 去预测，再利用真实的test集 计算error。
5.调试修改function
1.从返回到第一步骤，重新定义function再重复上述步骤。例如在李宏毅老师的例子中，他最开始定义的是一个一次函数，后来又改成了二次，三次，四次，五次函数。都是通过训练集的average error 和预测集的error 大小去选择一个更合适的function。
2. 当把自己定义可能的function都试探了一次时，error还是很高，就可以考虑是不是 有影响题目结果的其它的属性没有考虑到（若没有考虑到，就需要在function里面增加相应的参数）。
3.修改loss function
或者是修改第二步的loss function 去选择function
在修改loss function有一个常用的 regularization方法去修改loss function

regularization：目的是是你的function更加平滑（用matplotlib画出的函数图像更加平滑）。
有问题的地方请大家指出，一起学习，一起进步！