Pinterest广告排名系统的深度学习与大数据应用

在最近的QCon旧金山会议上，Pinterest的高级机器学习工程师Aayush Mudgal详细介绍了Pinterest如何利用深度学习模型和大数据技术来优化广告排名系统，为用户提供个性化的广告体验。Mudgal分享了Pinterest广告排名的历史背景、技术架构以及近年来的改进成果。

双面市场：用户与广告商的需求平衡

Pinterest运营着一个双面市场：用户通过浏览“Pin”获取灵感，而广告商则付费与这些用户建立联系。广告与内容无缝融合，确保广告与用户正在浏览的内容相关。广告商可以选择设置最高出价或自动出价，平台则通过预测点击、保存、隐藏等用户行为，确保广告的相关性和用户参与度。

深度学习模型与用户体验优化

Pinterest利用大数据提供快速、个性化的用户体验。数据通过负载均衡器、应用服务器和广告服务器处理，确保低延迟。Mudgal展示了复杂的架构图，并介绍了候选广告检索和排序的过程。广告排序通过重量级模型预测点击可能性，用户交互数据用于训练和优化机器学习模型。

Pinterest采用两种工作流程进行模型训练：

1. Joiner工作流：将事件和特征结合，提供特征统计和验证，确保广告的准确性。
2. 训练工作流：利用Joiner工作流生成的数据和用户交互记录，训练和评估机器学习模型。

用户与广告的嵌入表示

Mudgal介绍了用户和广告的嵌入表示方法。在训练过程中，目标是让相关广告的嵌入与相关用户的嵌入接近。通过共享嵌入空间，广告选择可以通过查找与用户嵌入最接近的广告嵌入来实现。广告嵌入可以预先计算并存储在数据库中，以提高查询效率。

广告投放与拍卖设计

广告投放通过排名和拍卖模型确定，考虑成本参数、广告分配、质量底线和保留价等因素。Pinterest尝试了多种数据表示方法，最终开发了特征生成层、嵌入学习层、显式特征交叉层和神经网络全连接层。

系统监控与模型性能优化

为了确保模型性能，Pinterest集成了测试、影子流量模拟、离线模型验证、模型失败警报和调试UI。在线模型验证和警报系统用于监控高预测率和模型陈旧性。Pinterest还采用GPU服务、量化、模型蒸馏和批量减少等技术，确保广告排名性能和用户体验的低延迟。

增量训练与模型部署

Pinterest的模型大多采用增量训练，每天可以训练不同的模型，并随时部署。通过MLFlow标准化部署，模型具有版本控制、训练参数跟踪和评估指标记录，确保模型的可重复性。

总结来说，Pinterest通过深度学习和大数据技术，优化了广告排名系统，确保用户获得相关且有趣的广告体验，同时帮助广告商实现其营销目标。