Cloudflare的MLOps平台及其最佳实践

Cloudflare在其博客中详细介绍了其MLOps平台以及在规模化运行人工智能（AI）部署中的最佳实践。Cloudflare的产品，如WAF攻击评分、机器人管理和全球威胁识别，依赖于不断进化的机器学习（ML）模型。这些模型在增强客户保护和支持服务方面起着关键作用。公司在全球范围内实现了ML模型的规模化交付，突显了稳健的ML训练方法的重要性。

数据科学家的协作与工具

Cloudflare的MLOps团队与数据科学家合作，实施最佳实践。通过Kubernetes上的JupyterHub部署Jupyter Notebooks，为数据探索和模型实验提供了可扩展的协作环境。GitOps成为Cloudflare MLOps战略的核心，利用Git作为管理基础设施和部署流程的单一可信源。ArgoCD用于声明式GitOps，自动化应用程序和基础设施的部署与管理。

未来路线图

未来的路线图包括迁移JupyterHub和Kubeflow等平台。Kubeflow是Kubernetes上的机器学习工作流平台，最近成为CNCF孵化项目。这一迁移由deployKF项目推动，该项目为Kubeflow组件提供分布式配置管理。

模型模板与用例

为了帮助数据科学家自信、高效地启动项目，Cloudflare MLOps团队提供了模型模板，这些模板是生产就绪的代码库，包含示例模型。这些模板目前是内部的，但Cloudflare计划将其开源。这些模板涵盖的用例包括：

1. 训练模板：配置用于ETL过程、实验跟踪和基于DAG的编排。
2. 批量推理模板：优化通过计划模型进行高效处理。
3. 流推理模板：为使用FastAPI在Kubernetes上进行实时推理而定制。
4. 可解释性模板：使用Streamlit和Bokeh等工具生成模型洞察的仪表板。

工作流编排工具

MLOps平台的另一个关键任务是高效编排ML工作流。Cloudflare根据团队偏好和用例采用多种编排工具：

• Apache Airflow：具有广泛社区支持的标准DAG编排工具。
• Argo Workflows：用于基于微服务的工作流的Kubernetes原生编排。
• Kubeflow Pipelines：专为ML工作流设计，强调协作和版本控制。
• Temporal：专注于事件驱动应用的有状态工作流。

硬件优化与性能

为了达到最佳性能，Cloudflare强调理解工作负载并相应调整硬件。公司利用GPU处理核心数据中心工作负载和边缘推理，并通过Prometheus的指标进行可观察性和优化。成功的采用涉及简化ML流程、标准化管道，并向缺乏数据科学专业知识的团队引入项目。

公司愿景与合作伙伴关系

Cloudflare的愿景是未来数据科学在商业中发挥关键作用，因此公司投资于其AI基础设施，并与Meta等公司合作，例如在全球范围内提供LLama2。