深度长文 | 从FM推演各深度CTR预估模型(附开源代码)

引言

点击率(click-through rate, CTR)是互联网公司进行流量分配的核心依据之一。比如互联网广告平台,为了精细化权衡和保障用户、广告、平台三方的利益,准确的 CTR 预估是不可或缺的。CTR 预估技术从传统的逻辑回归,到近两年大火的深度学习,新的算法层出不穷:DeepFM, NFM, DIN, AFM, DCN……

然而,相关的综述文章不少,但碎片罗列的居多,模型之间内在的联系和演化思路如何揭示?怎样才能迅速 get 到新模型的创新点和适用场景,快速提高新论文速度,节约理解、复现模型的成本?这些都是亟待解决的问题。

我们认为,从 FM 及其与神经网络的结合出发,能够迅速贯穿很多深度学习 CTR 预估网络的思路,从而更好地理解和应用模型。

本文的思路与方法

  1. 我们试图从原理上进行推导、理解各个深度 CTR 预估模型之间的相互关系,知其然也知其所以然(以下的分析与拆解角度,是一种我们尝试的理解视角,并不是唯一的理解方式)。
  2. 推演的核心思路:“通过设计网络结构进行组合特征的挖掘”。
  3. 具体来说有两条:其一是从 FM 开始推演其在深度学习上的各种推广(对应下图的红线),另一条是从 embedding + MLP 自身的演进特点结合 CTR 预估本身的业务场景进行推演(对应下图黑线部分)。

深度长文 | 从FM推演各深度CTR预估模型(附开源代码)

  1. 为了便于理解,我们简化了数据案例——只考虑离散特征数据的建模,以分析不同神经网络在处理相同业务问题时的不同思路。
  2. 同时,我们将各典型论文不同风格的神经网络结构图统一按照计算图来绘制,以便于对比不同模型。

FM:降维版本的特征二阶组合