vLLM

一种高吞吐量且内存高效的推理与服务引擎,专为大型语言模型(LLMs)设计。「A high-throughput and memory-efficient inference and serving engine for LLMs」

主要指標

概覽

名稱與所有者vllm-project/vllm
主編程語言Python
編程語言 (語言數: 8)
平台
許可證Apache License 2.0
發布數97
最新版本名稱v0.11.2 (發布於 )
第一版名稱submission (發布於 )
創建於2023-02-09 19:23:20
推送於2025-11-21 17:41:20
最后一次提交
星數63616
關注者數459
派生數11449
提交數11516
已啟用問題?
問題數12059
打開的問題數1909
拉請求數11440
打開的拉請求數1249
關閉的拉請求數3779
已啟用Wiki?
已存檔?
是復刻?
已鎖定?
是鏡像?
是私有?
去到頂部