K-means、K-means++、ISODATA

一、K-means

K-means算法最开始随机选取数据集中K个点作为聚类中心，即使相同的K值，分类结果会也受到初始点的选取而有所区别。人工指定比较合理的K值，通过多次随机初始化聚类中心选取比较满意的结果。

二、K-means++

K-means++按照如下的思想选取K个聚类中心：
假设已经选取了n个初始聚类中心(0<n<K)，则在选取第n+1个聚类中心时：距离当前n个聚类中心越远的点会有更高的概率被选为第n+1个聚类中心。
在选取第一个聚类中心(n=1)时同样通过随机的方法。

尽管计算初始点时花费了额外的时间，但是在迭代过程中，k-mean 本身能快速收敛，因此算法实际上降低了计算时间，能显著的改善分类结果的最终误差。

三、ISODATA算法

ISODATA的全称是迭代自组织数据分析法。在K-means中，K的值需要预先人为地确定，并且在整个算法过程中无法更改。而当遇到高维度、海量的数据集时，人们往往很难准确地估计出K的大小。ISODATA就是针对这个问题进行了改进，它的思想也很直观：当属于某个类别的样本数过少时把这个类别去除，当属于某个类别的样本数过多、分散程度较大时把这个类别分为两个子类别。

分裂操作

合并操作

该算法能够在聚类过程中根据各个类所包含样本的实际情况动态调整聚类中心的数目。如果某个类中样本分散程度较大（通过方差进行衡量）并且样本数量较大，则对其进行分裂操作；如果某两个类别靠得比较近（通过聚类中心的距离衡量），则对它们进行合并操作。