vLLM
一种高吞吐量且内存高效的推理与服务引擎,专为大型语言模型(LLMs)设计。「A high-throughput and memory-efficient inference and serving engine for LLMs」
主要指标
概览
| 名称与所有者 | vllm-project/vllm |
|---|---|
| 主编程语言 | Python |
| 编程语言 | (语言数: 8) |
| 平台 | |
| 许可证 | Apache License 2.0 |
| 发布数 | 97 |
| 最新版本名称 | v0.11.2 (发布于 ) |
| 第一版名称 | submission (发布于 ) |
| 创建于 | 2023-02-09 19:23:20 |
| 推送于 | 2025-11-21 17:41:20 |
| 最后一次提交 | |
| 星数 | 63616 |
| 关注者数 | 459 |
| 派生数 | 11449 |
| 提交数 | 11516 |
| 已启用问题? | |
| 问题数 | 12059 |
| 打开的问题数 | 1909 |
| 拉请求数 | 11440 |
| 打开的拉请求数 | 1249 |
| 关闭的拉请求数 | 3779 |
| 已启用Wiki? | |
| 已存档? | |
| 是复刻? | |
| 已锁定? | |
| 是镜像? | |
| 是私有? |
