推荐系统学习笔记--CH1--推荐系统需求、概念、应用场景和价值

  本章主要内容,分为四小节进行讲解,详细如下。

1. 推荐系统简介和知识储备

1.1 什么是推荐系统

  维基百科上关于推荐系统的定义很简短:推荐系统是一种信息过滤系统,用于预测用户对物品的“评分”或“偏好”
  我们在生活中不论是逛淘宝、京东,还是看腾讯视频、快手、抖音,都会发现每个人客户端展示的内容不尽相同,这背后恰恰是推荐系统在起作用。他会根据你所感兴趣的内容,你所搜索的内容,给你个性化的推荐。提高产品的分发效率,提高客户的满意度。

1.2 推荐系统产生背景

  我们知道任何一个事物都是顺应时代而生的,推荐系统也不例外。随着互联网时代的发展,信息和资讯呈指数型增长,而人们在面对信息爆炸时,显然没法自由应对,因此推荐系统应运而生。

  1. 信息过载
    从物品方面,商品及服务繁多,可供选择的内容太多。
  2. 经济与社会发展
    从人类主观需求,需求更加个性化,每个人想要的不一样。
  3. 需求不明确
    从人类客观现实,在特定情况下,人的需求是无目的性的,就像逛街你也不知道要买啥,就是逛着逛着看到就想买了。

1.3 推荐系统解决问题

  针对以上三个三个背景,推荐系统主要解决几个问题。

  1. 提升信息分发和信息获取效率
    推荐系统,本质上是为客户满意服务,让客户选的到,选的好,选的快。
  2. 信息提供方,平台方,用户方三方共赢
    推荐系统涉及三方,平台将内容推给用户,通过推荐技术,能够让内容有效触达,让客户能够对所获取内容满意。

1.4 推荐系统知识储备

  如下图是对推荐系统所需知识的概括总结:
推荐系统学习笔记--CH1--推荐系统需求、概念、应用场景和价值

2. 推荐系统的应用场景和价值

2.1 推荐系统应用场景

  推荐系统应用场景,主要针对几大类划分:

  1. 电商购物
    如淘宝、京东、当当、亚马逊等
  2. 视频
    Netflix,优酷,抖音,快手,电视猫等
  3. 音乐
    网易云音乐,酷狗音乐、QQ音乐等
  4. 新闻资讯类
    今日头条、天天快报、手机百度APP等
  5. 生活服务类
    美团、携程、脉脉等交友相亲类:QQ、陌陌、世纪佳

2.2 推荐系统价值

  推荐系统涉及平台方,内容方,用户,其能够实现三方的互利共赢,起作用过程如下图:
推荐系统学习笔记--CH1--推荐系统需求、概念、应用场景和价值
  价值主要体现在:

  1. 提高内容分发效率,提高内容的商业价值
  2. 提升用户体验,提升用户粘性
  3. 减少编辑,降低平台人力成本

3. 推荐团队的组成和工作定位

3.1 团队组成

  推荐系统作为一个系统,共分为以下四大块工作内容:

  1. 数据处理和特征工程
    现实世界中存在着大量的非结构化数据,因此要灌入推荐系统之前,数据清洗、挖掘和特征工程必不可少,特征工程决定了推荐系统的上限。
  2. 算法研究
    主要是一些前沿算法,如何应用到现在的业务场景里。
  3. 算法工程落地
    将前沿算法进行工程上的实现、落地,这里肯定会考虑到工程效率问题,在算法性能上做取舍。
  4. 支撑组件开发
    模块化、组件化是现在软件开发的发展方向,推荐系统自然需要将这些轮子沉淀下来,以备重复使用。

3.2 推荐团队与其他团队合作

  整个互联网推荐产品的生命周期包括了产品团队,项目团队和运营团队,如下图所示:
推荐系统学习笔记--CH1--推荐系统需求、概念、应用场景和价值
  从项目团队获取工作内容,对下,从大数据系统获取数据;对上,为产品运营提供底层支持。

3.3 目标定位

  互联网产品核心围绕三个点进行:产品,流量,转化率

  1. 对流量和转化率负责
    将用户感兴趣的信息提供给用户,用户才会看;将用户想要的产品推荐给用户,用户才会买。只有吸引力用户注意力,才能提高商业变现。
  2. 对内容分发效率负责
    是不是能够给用户有用的内容。
  3. 对推荐产生的商业指标负责
    主要是赚不赚钱。

  通过服务好用户,并借助用户挣钱,初创公司可能更关注前两个,主要是为了扩大用户量,成熟公司会关注商业指标。

4. 推荐系统未来发展趋势

4.1 大环境

  1. 内容数据越来越多,对推荐需求越来越大
  2. 文化多样化,用户的个性化需求越来越多,推荐系统越来越重要
  3. 国家层面重视,发展趋势顺应时代
  4. 高校,培训增加,竞争压力越来越大

4.2 推荐业务变化

  1. 云计算和toB公司通过SAAS和PAAS服务
    小公司并不直接开发推荐系统,只有大中型公司才会自建一套推荐业务体系。因此单纯的算法,需求量并不大。
  2. 新的行业,新的服务,新的场景产生,带来新的推荐需求
    比如车载,智能家庭,VR,AR

4.3 从业人员机遇挑战

  1. 推荐算法商业策略师
    由于小公司可能并不直接开发推荐系统,因此推荐算法工程师需求量会很快饱和。但是每个公司需要专门的人才,研究怎么基于推荐云服务将推荐落地到业务中。
  2. 新的业务场景及交互
    怎么构建推荐业务及推荐算法。
  3. 关注业务价值
    只有对业务负责,产生商业价值,才能够持久的生存发展。

5. 作业内容

  1. 复习初等函数、极限、微积分相关知识点
  2. 复习常用机器学习算法(分类、聚类、logistic回归)
  3. 用Python实现kmeans聚类