【BI思考题】阿里定向广告模型

piggyone

===============

  1. 定向广告和搜索广告的区别

    搜索广告的实现场景主要是在用户主动去搜索商品的情况下,根据用户搜索的内容推荐给他可能喜欢的商品,如果以​来表示用户可能喜欢的商品的概率,则广告的可能表达形式是:

    其中ad表示候选广告集,user表示用户特征,context表示上下文场景,设备,事件等等。而整个就表示为上述情况下用户点击广告的条件概率。而搜索广告中,由于用户已经搜索了相关的商品,则候选广告集ad的范围就是和搜索关键词相关。

    但是如果用户在未发出搜索请求时,如何在淘宝主页上呈现用户可能感兴趣的商品内容,进而吸引用户点击,就是定向广告发挥作用的时候了。在这种情况下,候选广告集的范围就是根据用户之前的购买,搜索,点击情况来筛选出的可能感兴趣的商品列表。

  2. 定向广告的常见使用模型

    根据广告的表达形式来看,其实可以抽象为一个二分类问题(点击或不点击,或者说CTR预估)。所以定向广告模型演变过程如下:

    • Logistic Regression:万能的LR;
    • MLR:在LR的基础上又发展出来了Mixed Logistic Regression,其和LR的区别在于MLR可以根据实际情况分别使用不同的LR模型,具有了一定的非线性能力。
    • DNN:由于深度神经网络可以很好的表达非线性关系,并且在CV和NLP场景中的广泛应用,所以在推荐场景中DNN也被拿来处理在大数据场景中的非线性关系。
    • DIN:深度兴趣网络采用了Attention的原理,将用户的兴趣分布根据情况激活并加入到模型训练中。
    • DIEN:DIEN在DIN的基础上优化了兴趣演化层,在Attention中嵌入了序列机制,相对兴趣作用得到了强化。
    • DSIN:这个模型也是在DIN的基础上,将用户行为分为一段一段的session,并用multi-head Attention来获取session内的兴趣。
  3. DIN中Attention的原理机制

    DIN基本的模型构架还是一个embedding layer和一个MLP组成的,其中embedding layer作用是把稀疏矩阵转移到一个向量空间中,MLP的主要作用是对embedding进行拟合分类输出。在这两个阶段中间,DIN加入了一个activation unit组件,其主要使用的就是attention的机理来计算user feature group的权重。

    Activation Unit的结构如下,则其使用的attention原理可以理解为用户的历史行为对候选ad的权重都是不同的,而用用户历史行为的embedding和候选ad的embedding通过外积的形式来表达相关性。这样在输入之后的MLP时,相关性使得模型可以更好地对候选ad去关注那些有用的历史行为。

  4. DIEN相对于DIN有哪些创新

    DIN是中的Attention对于候选ad只是关注了有用的历史行为,但是忽略了一个问题是,用户的历史行为其实是一个时间序列,其会有兴趣的变化,迁移。所以DIEN在DIN的基础上,加入了Interest extractor layer(核心部件是GRU)进行兴趣提取,然后对提取的兴趣加上了一个Interest evolving layer,用改进型AUGRU,并把Attention权重加入到里面让GRU更加关注兴趣的演化,减弱兴趣漂移,之后才输入到MLP中。

  5. DSIN关于Session的洞察是怎样的,如何对Session兴趣进行表达

    DSIN提出的问题是,虽然用户具有动态兴趣演化,但是用户使用淘宝的表现为阶段性的,也就是连续搜索一段时间,然后停止,并且每次发生搜索访问时,搜索的物品是很相近,但是两次隔开发生的连续搜索大概率差别很大。DSIN对这种情况,对用户序列建立session,每个session是一个给定时间范围内发生的交互列表,同一个session内的行为高度同构,而跨session之间是异构的。如下图,session在连续浏览裤子,session2就已经在搜索美甲,session3又有变化。但是每个session内部是一个类别的,这就是DSIN发现的问题。

    所以DSIN对用户的连续行为划分成session,然后用带偏执编码的self attention对每个session进行建模,然后用BI-LSTM捕捉用户不同历史会话兴趣的交互和演变,设计一个局部的活动单元,将他们与目标项聚合起来,形成行为序列的最终表达形式。

    首先Session Division Layer 对序列进行分割session。但是session中还是会出现用户的随意行为使的session偏移,所以Session Interest Extractor Layer在每个session中使用multi-head attention来关注session的重点,减轻不相关性行为的影响。Session Interest Extractor Layer对带有session兴趣重点的session使用BI-LSTM来捕捉用户session兴趣的动态演变。之后SIE层和SII层分别表示的session兴趣重点,以及兴趣的演变输入到Session Interest Activating Layer与目标商品之间去计算相关性,给session兴趣设立权重,最终和原始特征合并输入给MLP。

    根据以上描述可以看出,session的兴趣表达主要是通过SIE层的关注兴趣重点,SII层的兴趣演化,并最终通过SIA层分配权重来达到表达兴趣的目的。

  6. 如果你来设计淘宝定向广告,会有哪些future work(即下一个阶段的idea)

    鉴于目前淘宝定向广告已经非常高效了,接下来我感觉可能的下一步走向应该有:

    • 根据用户历史行为和兴趣推断用户可能购买的但从没涉及过的领域。需要建立知识图谱,模型可以认知商品之间的相关关系,并根据时间因素推断可能购买的商品。
    • 有些商品具有强烈的季节性或者时效性(羽绒服,西瓜,凉鞋),定向广告也需要带有时效性(即对兴趣附加一个周期权重),这样定向广告的投放也会有明显的季节性。
阅读 404
1 声望
0 粉丝
0 条评论
你知道吗?

1 声望
0 粉丝
文章目录
宣传栏