Kho Repo
Quay lại kho repo
vllm-project / vllm
Ảnh xem trước của vllm-project/vllm

vllm-project/vllm

Mô hình AI & Huấn luyệnPython96,958 saoThêm 5 tháng trước
Xem trên GitHub

Engine suy luận LLM thông lượng cao và tiết kiệm bộ nhớ, phục vụ mô hình ngôn ngữ lớn trên GPU.

Điểm nổi bật

  • Batching liên tục và quản lý KV cache thông minh.
  • Hỗ trợ OpenAI-compatible API.
  • Tương thích với nhiều phần cứng: NVIDIA, AMD, TPU.
  • Có quantization hỗ trợ AWQ, GPTQ và FP8.

Mô tả từ GitHub

A high-throughput and memory-efficient inference and serving engine for LLMs

Ngôn ngữ
Python
Số sao
97.0K
Thêm vào kho
24/06/2026
AI agent có thể lấy repo này qua API
curl "https://repo.shopkitai.com/api/v1/repos/vllm-project/vllm"

Repo cùng chủ đề

Những lựa chọn khác trong “Mô hình AI & Huấn luyện”.

vllm-project/vllm — Kho Repo