MMoE 多任务学习
背景
论文见[1].
MMoE, Multi-gate Mixture-of-Experts.
底层共享,上层拆塔,是多任务学习的常规实现. 论文提出了使用多个expert(其实就是DNN), 并使用多个gate(expert_num 的 softmax) 的架构设计, 直观明了.
使用场景为: 推荐系统的多目标(ctr,互动率,转化率,etc.)
网络结构
图: 多任务学习的网络架构演化, c 为MMoE网络架构
gate
图: 截自论文的 gate 说明.
相关实验
人造数据集
控制回归任务之间label的相关系数, 人造数据集作实验, 666.
内容推荐
含有两个子任务的rank模型, engagement subtask and satisfaction subtask, 可通俗理解为点击率和点赞率,都为二分类.
offline
因为点赞label过于稀疏, 离线只看ctr任务的AUC, 为0.6908.
图: 两个子任务对应的gate输出的权重分布, 因点赞label稀疏, 所以权重集中在单个expert上, (but why?)
live
相比于单任务模型, ctr持平, 点赞率提升20%.
思考
不同gate为不同task分配不同expert的不同权重, 这种动态作 weighted-sum 的操作, 跟attention 机制的出发点是一样一样的.
还有一篇推荐领域多任务, 阿里的 ESSM.