大数据推荐系统算法（3） 用户画像

大数据推荐系统算法（1）大数据框架介绍
大数据推荐系统算法（2） lambda架构
大数据推荐系统算法（3） 用户画像
大数据推荐系统（4）推荐算法
大数据推荐系统（5）Mahout
大数据推荐系统（6）Spark
大数据推荐系统（7）推荐系统与Lambda架构
大数据推荐系统（8）分布式数据收集和存储
大数据推荐系统（9）实战
1 用户画像
用户画像是对现实世界中用户的数学建模。

挑战：
1.记录和存储亿级数据用户的画像；
2.支持和扩展不断增加的维度和偏好；
3.毫秒级更新；
4.支撑个性化，广告投放和精细化营销等产品。
前三个可以用hadoop来解决，3可以用spark

二、用户画像系统

三、用户画像处理流程

1、明确问题和了解数据
追求数据和需求的匹配
明确需求：分类、聚类、推荐、。。。
数据的规模、重要特征的覆盖度

2、数据预处理
数据集成、数据冗余、数值冲突
数据采样 ：拿出部分数据进行处理
数据清洗、缺失值处理、噪声数据

3、特征工程
数据和特征决定了机器学习的上限，模型和算法只是逼近这个算法而已
特征：对所需解决问题有用的属性
特征的提取、选择、构造：针对所解决问题选择最有用的特征集合；通过相关系数等方式计算特征的重要性（人工筛选、Random Forest、 PCA。。。。。。。。。）

四、用户画像系统架构

实例：


是个分类问题
小 python
数据大 mapreduce

案例1：用户信用等级分级