PayPal扩展MLOps平台Cosmos.AI以支持生成式AI应用开发

PayPal近期扩展了其MLOps平台Cosmos.AI，旨在支持基于大语言模型（LLMs）的生成式AI应用开发。该平台整合了对供应商、开源和自调优LLMs的支持，并提供了检索增强生成（RAG）、语义缓存、提示管理、编排和AI应用托管等功能。

Cosmos.AI平台的背景与发展

PayPal于2020年左右构思了Cosmos.AI平台，并于2022年中期正式推出。该平台旨在将公司内部多个独立开发的定制化解决方案整合为一个支持端到端机器学习开发生命周期（MLDCL）的企业级平台。自推出以来，Cosmos.AI已成为PayPal事实上的AI/ML平台，被数千名数据科学家、分析师和开发人员使用。

平台特点与功能

Cosmos.AI平台结合了类似于Amazon SageMaker、Azure Machine Learning和GCP Vertex AI等云服务提供商的功能。此外，该平台将平台能力与其实现解耦，允许用户在定制化内部实现和开源或第三方供应商提供的解决方案之间进行选择。平台还支持多租户和自助服务，并能在多云和混合云环境中运行。

生成式AI的支持

PayPal认识到生成式AI的重要性，并早期投资于该领域。基于Cosmos.AI灵活且可扩展的架构，公司开发了利用LLMs推动产品创新的生成式AI能力。PayPal工程总监Jun Yang表示，公司能够在几个月内开发出一个生成式AI水平平台，使PayPal能够充分利用该技术，并在公司内部快速扩展生成式AI应用的开发，同时通过减少不同团队在生成式AI采用上的重复工作来降低成本。

LLMOps能力

PayPal增强了Cosmos.AI的训练能力，使其能够微调开源和供应商托管的LLMs。模型库也得到了扩展，以便轻松从Hugging Face等公共模型库中导入LLMs，同时支持法律和许可检查。Cosmos.AI现在还提供了LLMOps能力，包括多GPU部署、LLM优化、流式接口和增强的日志/监控功能。

未来计划

为了支持生成式AI应用，PayPal开发了一系列新功能，包括利用向量数据库和Cosmos.AI管道的RAG框架、用于LLM推理的语义缓存、提示管理框架、平台编排框架、LLM评估工具和应用托管。未来，团队计划进一步演进AI/ML平台，并将自助服务/手动流程转变为自主工作流。

通过这些扩展和增强，PayPal的Cosmos.AI平台不仅提升了其AI/ML能力，还为生成式AI应用的开发提供了强大的支持和灵活性。