机器学习课程总结
机器学习课程总结
1. 基本任务
- 回归
- 线性回归
- 任务:回归&多元回归
- 思想:最小化所有数据点到分类平面的均方误差
- 模型:凸优化问题
- 算法:梯度下降法
- 决策树
- 支持向量机
- 线性回归
- 分类
- 逻辑回归
- 任务:线性分类
- 思想:最大化数据点的似然函数
- 模型:凸优化问题
- 算法:数值方法–>近似解(梯度下降法、牛顿法)
- 决策树
- 任务:回归&分类
- 思想:利用分而治之的思想对数据集进行递归划分
- 模型:树形结构,利用特定准则选取属性
- 算法:ID3, C4.5, CART等
- 感知机
- 任务:线性二分类
- 思想:最小化误分类点到分类平面的距离
- 模型:
- 算法:梯度下降法
- 支持向量机
- 任务:分类&回归
- 思想:最大化数据点到分类超平面的最短距离
- 模型:凸约束优化问题
- 算法:
- 凸二次规划可解:效率低
- 拉格朗日乘子法–>对偶问题
- 对偶模型:分类&回归
- 算法:SMO算法–>每次迭代都有闭式解
- 贝叶斯分类
- 神经网络
- 任务:线性分类&非线性分类
- 思想:利用多层神经网络对非线性可分的数据进行分类
- 模型:
- 算法:误差逆传播(BP)算法 = 梯度下降 + 链式法则
- 逻辑回归
- 监督学习
- 聚类
- K-means
- 任务:球状数据聚类
- 思想:通过寻找合适的聚类中心对数据进行聚类
- 模型:非凸组合优化模型
- 算法:Lloyd算法(贪婪算法)–>局部最优
- 谱聚类
- 任务:任意形状数据聚类
- 思想:通过对图切问题进行松弛后求解
- 模型:非凸矩阵优化模型
- 算法:瑞丽商问题–>闭式解
- 层次聚类
- K-means
- 降维
- 主成分分析
- 任务:非监督降维
- 思想:最大化投影后数据的方差,最小化重建误差
- 模型:非凸优化模型
- 算法:特征值问题 --> 闭式解
- 线性判别分析
- 任务:监督降维
- 思想:最大化类间散度矩阵Sb,最小化类内散度矩阵Sw
- 模型:非凸优化模型
- 算法:广义特征值问题 --> 闭式解
- 主成分分析
2. 要求
- 基础知识
- 基本概念
- 数据集划分
- 性能度量
- 描述各个任务之间的关系
- 线性回归
- 简述线性回归问题
- 对简单数据进行计算
- 可以编程实现线性回归算法
- 逻辑回归
- 简述,以及与线性回归的异同点
- 梯度下降法、牛顿法的基本原理和迭代公式
- 编程实现
- 决策树
- 简述
- 会用三种算法(ID3, C4.5, CART)对数据进行分类
- 对生成的决策树进行剪枝处理
- 感知机
- 简述
- 解决逻辑分类问题
- 神经网络
- 简述
- 与感知机的关系
- BP算法的基本原理和迭代公式
- 支持向量机
- 简述
- 与其他分类算法的异同
- 使用拉格朗日乘子法对约束优化问题进行求解,理解使用拉格朗日乘子法求解SVM问题的原因
- 简述软间隔支持向量机,与常规支持向量机的关系与区别
- 理解SMO算法
- K-means
- 简述
- 简述Lloyd算法的流程
- 理解模型的矩阵形式
- 谱聚类
- 简述两种图切问题
- 简述算法流程
- 掌握工作原理
- 与K-means的关系
- 主成分分析
- 简述算法
- 简述PCA算法的流程
- 核化PCA与PCA的异同
- 线性判别分析
- 简述
- 与PCA的异同
- 简述LDA算法的流程