vLLM

一种高吞吐量且内存高效的推理与服务引擎,专为大型语言模型(LLMs)设计。「A high-throughput and memory-efficient inference and serving engine for LLMs」

主要指標

概覽

名稱與所有者vllm-project/vllm
主編程語言Python
編程語言 (語言數: 8)
平台
許可證Apache License 2.0
發布數75
最新版本名稱v0.10.1.1 (發布於 )
第一版名稱submission (發布於 )
創建於2023-02-09 11:23:20
推送於2025-08-22 10:07:24
最后一次提交
星數56020
關注者數430
派生數9572
提交數8803
已啟用問題?
問題數10336
打開的問題數1804
拉請求數8723
打開的拉請求數1011
關閉的拉請求數2717
已啟用Wiki?
已存檔?
是復刻?
已鎖定?
是鏡像?
是私有?
去到頂部