vLLM

一种高吞吐量且内存高效的推理与服务引擎，专为大型语言模型（LLMs）设计。「A high-throughput and ...