<一>、网上商城推荐系统
项目总体规划
业余学习大数据也快有两年时间了,从《数学之美》入坑,到了解HDFS、MapReduce原理,到Hadoop
Ecosystem各项目安装配置,到学习机器学习算法,到做一些java的web小项目,感觉学了很多但都没有比较直观的实例(重复教程实验确实无趣),难免会出现上图的尴尬,这不是我想要的滑板鞋 生活学习过程。
某天我脑子中出现一个应用小案例,比较直观实现一种购物网站的推荐系统:
为达成这个小目标我需要做以下几点:
1、 搭建一个购物网站--数据获取和最终展示
首先手上有个现成的传智教学案例网上商城但是它是hibernate:3+spring:+3.2+struts2:2.3,我要用hibernate:4.3.1+spring:+4.1.3+struts2:2.3,hibernate3和 hibernate4有些差异需要修改
商城是有了,但还没有数据,网站虽然有维护商品的功能,但不可能一个个维护,而且商品数据从何而来?
<四>、python爬虫抓取购物网站商品信息--图片价格名称
到此推荐系统的使用场景就有了,最终的推荐结果也由它展示
2、 选择一种推荐算法--数据加工
推荐算法及开源项目很多,在此选择mahout的itemcf算法
3、 整合成一个web项目--数据整合
在商城中引用hadoop、mahout整合成一个web项目,从推荐原始数据到算法加工到结果数据展示
到此整个项目完成
商城前台展示:http://localhost:8080/VV1/
商城后台维护:http://localhost:8080/VV1/admin
推荐算法平台:http://localhost:8080/VV1/basic.jsp
在此基础上增加HDFS文件管理,HBASE表单管理,HIVE表展示
项目下载地址:http://download.****.net/download/philics0725/9969284
lib下载地址:http://pan.baidu.com/s/1nveGWtF
密码:u430