聚类分析

数据分析入门与实战  公众号： weic2c

物以类聚，人以群分，聚类分析是一种重要的多变量统计方法，但记住其实它是一种数据分析方法，不能进行统计推断的。当然，聚类分析主要应用在市场细分等领域，我们也经常采用聚类分析技术来实现对抽样框的分层，我就不多罗嗦了。

    聚类分析：顾名思义是一种分类的多元统计分析方法。按照个体或样品(individuals, objects or subjects)的特征将它们分类，使同一类别内的个体具有尽可能高的同质性(homogeneity)，而类别之间则应具有尽可能高的异质性(heterogeneity)。

     我们也可以对变量进行聚类—分类，但是更常见的还是对个体分类（样本聚类——细分）。为了得到比较合理的分类，首先要采用适当的指标来定量地描述研究对象（样本或变量，常用的是样本）之间的联系的紧密程度。常用的指标为“距离”和“相似系数”，假定研究对象均用所谓的“点”来表示。

    基本概念：

    需要一组表示个体性质或特征的变量，称之为聚类变量。根据个体或样本之间联系的紧密程度进行分类。一般来说分类变量的组合都是由研究者规定的，不是像其它多元分析方法那样估计推导出来的。

    聚类方法：

• 聚类分析简单、直观。

• 聚类分析主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者的主观判断和后续的分析；

• 不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到分成若干类别的解；

• 聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响。

• 研究者在使用聚类分析时应特别注意可能影响结果的各个因素。

• 异常值和特殊的变量对聚类有较大影响

  当分类变量的测量尺度不一致时，需要事先做标准化处理。

当然，聚类分析不能做的事情是：

• 自动发现和告诉你应该分成多少个类——属于非监督类分析方法

• 期望能很清楚的找到大致相等的类或细分市场是不现实的；

• 样本聚类，变量之间的关系需要研究者决定；

• 不会自动给出一个最佳聚类结果；

    我这里提到的聚类分析主要是谱系聚类（hierarchical clustering）和快速聚类（K-means）、两阶段聚类（Two-Step）；

     根据聚类变量得到的描述两个个体间（或变量间）的对应程度或联系紧密程度的度量。

     可以用两种方式来测量：

• 采用描述个体对（变量对）之间的接近程度的指标，例如“距离”，“距离”越小的个体（变量）越具有相似性。

• 采用表示相似程度的指标，例如“相关系数”，“相关系数”越大的个体（变量）越具有相似性。

      计算聚类——距离指标D(distance)的方法非常多：按照数据的不同性质，可选用不同的距离指标。欧氏距离(Euclidean distance)、欧氏距离的平方(Squared Euclidean distance)、曼哈顿距离(Block)、切比雪夫距离(Chebychev distance)、卡方距离(Chi-aquare measure) 等；相似性也有不少，主要是皮尔逊相关系数了！

注意：上面主要在谱系聚类方法中采用，但谱系聚类主要用在变量聚类上，如果对样本聚类样本不能太多了，否则你要等很长时间，还不一定有用！

总体推荐：

• 聚类变量的测量尺度不同，需要事先对变量标准化；

• 聚类变量中如果有些变量非常相关，意味着这个变量的权重会更大

• 欧式距离的平方是最常用的距离测量方法；

• 聚类算法要比距离测量方法对聚类结果影响更大；

• 标准化方法影响聚类模式：

• 变量标准化倾向产生基于数量的聚类；

• 样本标准化倾向产生基于模式的聚类；

• 一般聚类个数在4－6类，不易太多，或太少；

• 数据挖掘软件中的聚类更理想

    当然我现在聚类都用数据挖掘技术了，其实聚类分析采用数据挖掘技术更合理，毕竟是发现知识，我们事先不知道是否存在显著差异的细分市场，而且往往在统计分析聚类中，需要研究者主观给出聚类变量，得到的结果也可能是研究者或客户能想到的，往往客户最希望得到事先不知道的，直觉不能感知到的，数据挖掘就体现了这一点。当然采用数据挖掘软件得到的聚类结果，也更直观，最重要的是采用SPSS聚类的结果要呈现出来，是个体力活，用Clementine得到的结果就非常容易看出来和理解了！