vLLM是一个开源工具，通过高效的推理引擎帮助托管AI模型。它可以用于在真实产品和服务中驱动LLMs。