AI如何更懂你？首先从机器 “看懂“内容说起

「术小科导读」下面这些场景你一定非常熟悉：疫情期间宅在家，金融类APP会定期推送投资理财产品；打开新闻资讯类APP，看到很多感兴趣的明星八卦……在这背后，机器学习算法驱动的内容推荐系统正把我们喜欢的内容送到面前。近日，深度学习在内容推荐领域有了新的进展，能够让精确度进一步提升，AI比你想象的还要懂你。

信息流是互联网产品最新的用户体验方式，随着信息爆炸式增长，如何帮助用户找到最合口味的好内容，通过精细化运营提升用户粘性，是互联网公司当下最重要的命题之一。事实上，个性化推荐系统的本质是通过对用户兴趣和内容理解进行建模、预测，最终实现用户与内容的匹配。不同于用户数据，由于内容理解类型的多样性（包含视频、图文、声音等各种形态），如何将多形态的非结构化数据进行结构化表达，是目前信息流推荐中最具挑战的一环。

像常见的新闻资讯类推荐系统，主要使用机器学习的方式，基于资讯内容和用户标签进行推荐，同时也使用协同过滤算法，通过不同算法组合，构建了推荐模型和召回策略，对一个用户，先用其兴趣等标签，过滤候选资讯，然后对召回的资讯调用推荐模型，计算得分并产生排列顺序。

再如一些电商平台的推荐系统，为了快速和准确地响应用户当前的需求，其推荐系统一般采用两阶段的方式：首先在召回阶段召回可能的候选集，然后在排序阶段进行精准排序推荐。目前大多数电商平台的召回模型，基本上是基于物品的协同过滤模型。但是协同过滤模型只能考虑用户的静态兴趣，而不能捕获用户的动态兴趣。

京东数科则将深度学习应用在用户行为预测上，通过多维度模式的交互学习，模型可以较好地刻画出用户随着时间动态变化的行为偏好，从而较为准确地对用户未来的行为进行预测。比如，京东数科提出了多个序列化数据建模与预测的算法，并在国际顶级数据挖掘及人工智能会议（KDD，WWW，CIKM，ECAI）上发表了相应的研究工作；与此同时，在序列学习框架中，运用多规模的异构神经网络架构，从而对序列数据的不同层级的模式进行学习，其中包括提出了基于多维度用户行为建模的序列预测架构，并发表在KDD2019以及ECAI2020会议上。

Fig1. The Model Architecture of Research Work in KDD’19

Fig 2. The ModelArchitecture of Research Work in ECAI’20

在内容理解与用户的行为建模中，为了提供更加精准的结构化信息，从而更好地理解内容间的语义关系，京东数科对知识图谱进行深入探索，提出了一种基于Meta-Learning架构的知识图谱关系学习架构，相对应的研究工作发表在人工智能顶级会议AAAI2020上。该架构可以解决当前知识图谱算法面对实际应用场景中小样本学习上的限制，并能够在训练数据缺失的情况下，准确地预测出在知识图谱中各类内容实体间的潜在关系。

Fig 3. The ModelArchitecture of Research Work in AAAI’2

目前，京东数科已将上述技术研究成果在内容推荐场景上进行了应用，比如核心用户理财场景以及白条免息用户社区场景，可以将基础指标PV点击率提升1倍；在智能营销场景下，比如东家财富的高净值人群挖掘，用户转化率可以提升3倍；银行+短信营销拉新场景下，点击率和转化率提升2倍以上。

业内人士预测，随着短视频快速发展，内容传播形式正在转向多媒体形式。那么，如何让机器“看懂“视频内容，将成为内容理解技术的制高点之一。深度学习在图像、语音、文字上的突破性进展给多模态内容理解带来了新的机会，比如，图像序列分析，语音情感识别，多人多轮对话内容理解等。另外，除了多模态内容理解，多模态技术如果与计算机视觉、NLP等多种前沿AI技术相结合，将在视频、直播等用户互动场景中衍生出更多好玩有趣的应用，从而构建多元消费场景中更丰富的用户触点。