Kho Repo
Quay lại kho repo
ggml-org / llama.cpp
Ảnh xem trước của ggml-org/llama.cpp

ggml-org/llama.cpp

Mô hình AI & Huấn luyệnC++135,156 saoThêm 5 tháng trước
Xem trên GitHub

Suy luận LLM bằng C/C++, chạy mô hình lớn trên CPU, GPU và cả thiết bị nhúng.

Điểm nổi bật

  • Suy luận tối ưu cho CPU với độ trễ thấp.
  • Hỗ trợ lượng tử hoá Q4, Q5, Q8 và IQ.
  • Chạy được trên Raspberry Pi, điện thoại và WebAssembly.
  • Có server OpenAI-compatible.

Mô tả từ GitHub

LLM inference in C/C++

Ngôn ngữ
C++
Số sao
135K
Thêm vào kho
12/06/2026
AI agent có thể lấy repo này qua API
curl "https://repo.shopkitai.com/api/v1/repos/ggml-org/llama.cpp"

Repo cùng chủ đề

Những lựa chọn khác trong “Mô hình AI & Huấn luyện”.

ggml-org/llama.cpp — Kho Repo