Mahout的安装部署和算法实现
-
Mahout的安装及配置
1-1、首先下载安装包
https://archive.apache.org/dist/mahout/
1-2、解压并重命名:
mv apache-mahout-distribution-0.12.2 mahout-0.12.2
1-3、配置环境变量:
export MAHOUT_HOME=/Users/zhangchenguang/software/mahout-0.12.2
export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH
Mahout 是依赖于hadoop的哦,不管怎么说,需要把hadoop给装上。
hadoop配置环境变量:
export HADOOP_HOME=/Users/zhangchenguang/software/hadoop-2.7.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=not_null
1-4、查询是否安装成功:
mahout
安装成功如下:
-
Mahout中的kmeans聚类算法的使用
2-1、kmeans聚类算法
K-MEANS算法是输入聚类个数k,以及包含 n个数据对象的数据库,输出满足方差最小标准k个聚类的一种算法。k-means 算法接受输入量 k ;然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高;而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”(引力中心)来进行计算的。
2-2、下载测试数据
wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data
2-3、将测试数据上传到hdfs
hadoop fs -mkdir -p ./testdata
hadoop fs -put synthetic_control.data ./testdata
2-4、查看数据文件是否上传成功
hadoop fs -ls
hadoop fs -ls ./testdata
2-5、Mahout中的kmeans聚类算法的使用
mahout -core org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
经过多个job运行以后得出结果:
2-7、查看输出
hadoop fs -ls ./output
2-8、查看数据
mahout vectordump -i ./output/data/part-m-00000