vllm-project/vllm
Engine suy luận LLM thông lượng cao và tiết kiệm bộ nhớ, phục vụ mô hình ngôn ngữ lớn trên GPU.
Điểm nổi bật
- Batching liên tục và quản lý KV cache thông minh.
- Hỗ trợ OpenAI-compatible API.
- Tương thích với nhiều phần cứng: NVIDIA, AMD, TPU.
- Có quantization hỗ trợ AWQ, GPTQ và FP8.
Mô tả từ GitHub
A high-throughput and memory-efficient inference and serving engine for LLMs
- Chủ đề
- Mô hình AI & Huấn luyện
- Ngôn ngữ
- Python
- Số sao
- 97.0K
- Thêm vào kho
- 24/06/2026
curl "https://repo.shopkitai.com/api/v1/repos/vllm-project/vllm"