机器学习课程笔记（第一周）机器学习与线性回归

机器学习课程链接：https://www.coursera.org/learn/machine-learning

第一周 机器学习与线性回归

机器学习：一个计算机程序从经验E中学习某些类型的任务T，以及性能度量P，它在T任务中的表现，以P来衡量，随着经验E而改善。例如：E =下棋的经验；T=下棋的任务；P =程序赢得下一场比赛的概率。

一、任何机器学习内容都可以分为两大类：
监督学习Supervised learning和非监督学习Unsupervised learning

1. 监督学习：给算法的数据集是“正确答案”，算法的任务是生成更多“正确答案”。
   （1）回归问题Regression：预测连续的输出值。Continuous valued output，如价格；
   （2）分类问题Classificatio：预测离散的输出值。Discrete valued output (0 or 1)可能不止0或1…
2. 非监督学习：没有基于预测结果的反馈，对数据集一无所知。可以通过聚类clustering来为数据集定义结构。非聚类：鸡尾酒会算法 "Cocktail Party Algorithm"，让你在混乱的环境中找到结构

二、模型表示Model Representation

1.线性回归linear regression

m: 训练样本的数目Number of training examples

x: 输入变量input variable/特征量features

y: 输出变量output variable/目标变量target variable

(x, y): 一个训练样本a training example

(x(i), y(i)): 第i个训练样本，训练集第i行

h: hypothesis假设，可以理解为函数。

我们可以用代价函数Cost Function来衡量假设函数的准确性。这个函数也称为“平方误差函数”，或“均方误差”。
对于一元线性回归函数J：

优化目标：J最小

使代价函数J最小化的算法：梯度下降Gradient Descent
梯度下降算法：重复，直到收敛:

每一次迭代时，注意是同时更新θ1, θ2,..., θn

具体应用于线性回归的情况下，可以得到一种新的形式的梯度下降方程。我们可以代入实际成本函数和实际假设函数，将方程修改为:

这种方法每一步都查看整个训练集中的每个示例，称为批量梯度下降batch gradient descent。

矩阵和向量Matrices and Vectors

可以将线性回归函数写成矩阵乘积的形式

---

下载Octave
install Octave for windows: http://wiki.octave.org/Octave_for_Microsoft_Windows
All packages can be updated to the latest version by running:
>> pkg update
Other packages can be installed by running:
>> pkg install -forge <package name>
To install a new or updated package version manually, the package file can be downloaded from the Octave Forge website to the working directory and can be installed using:
>> pkg install package_file_name.tar.gz