主要观点：机器学习在实时应用中越来越重要，服务器less计算因其可扩展性和消除基础设施管理工作负载而对部署此类应用有吸引力，但部署到服务器less环境有延迟、成本和性能等独特挑战，本文将描述这些问题并提供解决方案。
关键信息：

• 服务器less计算平台如AWS Lambda等可让开发者无需管理服务器构建应用，但其有冷启动、资源限制和成本超支等问题，实时机器学习需平衡低延迟推理、成本控制和资源优化。
• 冷启动会影响延迟，如AWS Lambda对大型模型冷启动时间可达10秒，可通过预配置并发减少冷启动时间但会增加延迟和成本。
• 管理成本需高效利用资源，深度学习模型执行成本高，可通过模型优化（如模型剪枝、量化和蒸馏）和批处理减少服务器less函数调用次数来降低运营成本。
• 性能方面，服务器less函数为无状态，ML模型需有状态执行，可部署优化后的小模型如MobileNet等，同时要管理并发以应对资源竞争。
  重要细节：
• 冷启动：平台未近期调用时需初始化函数环境导致延迟，大型模型冷启动时间取决于加载难度，AWS Lambda对大型模型冷启动时间长，预配置并发可减少冷启动时间但增加延迟和成本。
• 成本：服务器less函数按使用计费，计算密集型ML模型执行成本高，可通过模型优化和批处理减少调用次数降低成本。
• 性能：服务器less函数无状态，ML模型需有状态，大型模型在无定义计算环境性能受限，多数服务器less平台无法直接访问GPU，可部署优化后的小模型，并发管理很重要，需应对资源竞争。
  最佳实践：减少模型复杂度、降低冷启动延迟、通过批处理提高成本效率、监控和管理共享资源、利用边缘设备降低延迟。
  结论：服务器less架构可让开发者大规模部署ML模型，但部署实时ML模型有特殊障碍，通过合适控制策略可构建高效实时ML系统。