【机器学习课程-华盛顿大学】：4 聚类和检索 4.6 聚类总结、分层聚类（分裂/成团）

一、总结

1、最近邻搜索

（1）1NN

（2）KNN

TF-IDF，距离（欧氏距离，cosine），归一化，暴力搜索复杂度

（3）KD-trees

缺点：不易实现；高维特征难以实现

（4）LSH局部敏感哈希

 

2、k-means和MapReduce

 

3、混合高斯模型和EM

k-means不能解决的：

 

4、LDA

吉布斯采样

 

5、总结

二、分层聚类

优点：不需要选择k值；可视化聚类结构；可以使用任何距离矩阵，而k-means只能使用欧式距离

 

可以解决的形状更多：

分层聚类可以解决如下：

 

两种主要算法：分裂cluster，成团

1、分裂：一开始认为是一整个cluster，然后逐渐分裂，直到N个点变成N个cluster

2、成团：一开始N个点认为是N个cluster，然后逐渐成团，最后变成1个cluster

 

1、分裂：递归k-means

 

2、成团

成团的系统结构图：

团的切割：

 

三、HMM：隐马尔可夫，也是一种聚类方法

之前的数据都是无序的。但是对于有序数据，比如：蜜蜂的飞行路径，舞步，消息散播路径。可以用HMM。