Airbnb的机器学习特征管理平台Chronon

在QCon SF大会上，Airbnb的资深软件工程师Nikhil Simha介绍了Airbnb为解决机器学习模型中大量特征管理和服务挑战而开发的平台Chronon。该平台专注于四个关键领域：核心API、训练数据生成、特征服务和特征可观测性。

主要挑战

1. 特征爆炸：机器学习模型通常使用大量特征生成单个预测，导致数据管道激增和预测时的高请求扇出。
2. 特征模式演变：每次模型迭代时，特征模式都会发生变化，手动管理变得繁琐。
3. 输入数据变化的静默故障：输入数据的变化可能导致模型静默失败，增加了可观测性的挑战。
4. 严格的推理延迟预算：在涉及排名的用例中，每次推理的延迟预算非常紧张。

Chronon的解决方案

1. 训练数据生成：Chronon全面支持整个训练数据生成管道，包括特征引导、标签计算和大规模训练集生成。
2. 高级特征计算：支持特征推导、特征链式计算以及外部和上下文特征支持，适用于批处理、流处理和应用程序服务环境。
3. 时间作为一等公民：平台将时间视为一等公民，允许表达时间窗口，特别适用于欺诈检测等场景，其中最近的数据最为重要。
4. 窗口概念：引入了一种滑动和跳跃窗口的变体，提供了新鲜度和成本效益，并且比滑动窗口更节省内存，便于扩展。这些特征视图由数据维护，是复用单元，一旦在线即为不可变。

技术实现

• 编程语言：使用Python而非SQL，以提高代码的灵活性和可复用性。
• 封闭测试与开源计划：系统目前处于封闭测试阶段，计划不久后开源。

Chronon平台通过全面支持特征管理和服务，解决了机器学习模型中的关键挑战，特别是在处理大规模数据和严格延迟预算的场景中表现出色。