在Amazon SageMaker上快速、灵活构建Amazon TensorFlow模型的在线推理服务
2021-12-24
阅读 6 分钟
980当算法工程师在本地使用Amazon TensorFlow深度学习框架训练好模型后,会创建模型服务器供应用程序调用实现在线推理。由于部署本身存在一定的复杂性,他们需要考虑如何安装TensorFlow Serving相关的依赖,如何实现模型服务的高可用、请求负载均衡、A/B测试、自动伸缩机制等。Amazon SageMaker可以帮助用户快速创建多台模...