开源生态 · 开源部署 · 海外

vLLMvLLM

LLM 推理加速

开源推理
收录于 2026-08-21

GitHub 仓库

vllm-project/vllm ↗

A high-throughput and memory-efficient inference and serving engine for LLMs

9.1wStars
2.2wForks
7.8kIssues
598Watchers
● Python Apache-2.0 最近更新 7 分钟前 创建于 2023-02-09
amdblackwellcudadeepseekdeepseek-v3gptgpt-ossinference
用户点评 ★ — (0 人评分) 0 条
登录后可评论
相似推荐

和 vLLM 同类的工具

进入对比 →

RAGFlow推荐

⭐88k 开源 RAG 知识库

Trilium

⭐37k 开源个人知识库

pathway

⭐62k 实时数据分析引擎

Llama

Meta 开源大模型