李宏毅机器学习2016 第十二讲 无监督学习：线性维数约减

视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩

课程资源：Hung-yi Lee

课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5

我的第十一讲笔记：李宏毅机器学习2016 第十一讲 半监督学习

Unsupervised Learning：Linear Dimension Reduction

本章主要介绍了无监督学习，讲解了聚类的方法和PCA，一种线性维度约减方法。

1.监督学习（Unsupervised Learning）

无监督学习主要分为两类，一种是聚类（Clustering）&维数约减（Dimension Reduction），能够使复杂变简单，化繁为简；另一种是生成（Generation），无中生有。本章主要讲解前者。

2.聚类（Clustering）

K-means是一种比较基本的分类方法。算法描述如下：

另一种聚类方法：层次凝聚聚类（Hierarchical Agglomerative Clustering）

首先是建立一棵树，其想法有点类似哈弗曼编码，第二部是选择一个阈值，据此来确定到底分成多少类，例如蓝色的那条线就将这五个样本分成了三个类。

3.主成分分析(Principal Component Analysis, 简称PCA)

PCA是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。

在此我引用我的研究生导师 徐勇个人主页 的模式识别课程上讲解PCAPPT作为本次笔记。

基于PCA算法的人脸识别：

训练阶段

在测试阶段：

PCA的优点：

①减少了维数（Dimensionality reduction ）

②捕获了最终要的组件 （Capture the components that vary the most from the original data ）

③最小化重构误差（Minimum reconstruction error）

④去相关性（Decorrelation）

PCA的缺点：

对于非线性的曲面，效果非常不好。此时可考虑LDA，一种考虑标签的有监督的降维方法。

4.总结

本章集中讲解了无监督学习中的线性维数约减，PCA方法。