vLLM

vLLM是一个开源的大语言模型推理和服务引擎，提供高吞吐量和低延迟的推理能力，支持Transformer架构模型的高效部署和扩展。