推荐系统的设计

二、推荐系统的设计

1）推荐系统的要素

• UI和UE（前端界面）
• 数据（Lambda架构）
• 业务知识
• 算法

2）推荐系统架构

• 推荐系统的整体架构

  

• 大数据Lambda架构

  • Lambda架构是实时大数据处理框架

  • Lambda架构将离线计算和实时计算整合，设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等

    • 离线计算：数据量大、对时间要求不高的处理
    • 实时计算：数据量小、考虑时效性的处理

  • 分层架构

    • 批处理层
      • 数据不可变，可以进行任何计算，可水平扩展
      • 高延迟
      • 日志手机：Flume
      • 分布式存储：Hadoop
      • 分布式计算：Hadoop、Spark
      • 视图存储数据库
        • nosql(HBase/Cassandra)
        • Redis/memcache
        • MySQL
    • 实时处理层
      • 流式处理，持续计算
      • 存储和分析某个窗口期内的数据（热销排行）
      • 实时数据收集 flume & kafka
      • 实时数据分析 spark streaming/storm/flink
    • 服务层
      • 支持随机读
      • 需要在非常短的时间内返回结果
      • 读取批处理层和实时处理层结果并对归并

  • Lambda架构图

    

• 推荐算法架构

  • 召回

    就是从海量数据中选择少部分数据

    • 召回决定了最终推荐结果的上限
    • 常用算法：
      • 协同过滤
      • 基于内容

  • 排序阶段

    对召回中的数据进行排序，得到少部分数据

    • 召回决定了推荐结果上限，排序逼近这个极限，决定了最终推荐结果
    • CTR预估(点击率预估 LR算法)估计用户是否会点击某个商品

  • 策略调整