vLLM

一种高吞吐量且内存高效的推理与服务引擎,专为大型语言模型(LLMs)设计。「A high-throughput and memory-efficient inference and serving engine for LLMs」

主要指标

概览

名称与所有者vllm-project/vllm
主编程语言Python
编程语言 (语言数: 8)
平台
许可证Apache License 2.0
发布数97
最新版本名称v0.11.2 (发布于 )
第一版名称submission (发布于 )
创建于2023-02-09 19:23:20
推送于2025-11-21 17:41:20
最后一次提交
星数63616
关注者数459
派生数11449
提交数11516
已启用问题?
问题数12059
打开的问题数1909
拉请求数11440
打开的拉请求数1249
关闭的拉请求数3779
已启用Wiki?
已存档?
是复刻?
已锁定?
是镜像?
是私有?
去到顶部