vllm-project vllm 42500 Python https://avatars.githubusercontent.com/u/152067012 87 高吞吐量、内存高效的 LLM 推理引擎 A high-throughput and memory-efficient inference and serving engine for LLMs
创建于 3 年前
最后更新 今天
+650 stars today
AI 综合评分
87 A 级
代码质量 80
文档质量 90
社区健康 84
项目活跃 94
创新性 77
项目简介
高吞吐量、内存高效的 LLM 推理引擎
README 摘要
vLLM 是高性能 LLM 推理和部署引擎
