ggml-org/llama.cpp
Suy luận LLM bằng C/C++, chạy mô hình lớn trên CPU, GPU và cả thiết bị nhúng.
Điểm nổi bật
- Suy luận tối ưu cho CPU với độ trễ thấp.
- Hỗ trợ lượng tử hoá Q4, Q5, Q8 và IQ.
- Chạy được trên Raspberry Pi, điện thoại và WebAssembly.
- Có server OpenAI-compatible.
Mô tả từ GitHub
LLM inference in C/C++
- Chủ đề
- Mô hình AI & Huấn luyện
- Ngôn ngữ
- C++
- Số sao
- 135K
- Thêm vào kho
- 12/06/2026
curl "https://repo.shopkitai.com/api/v1/repos/ggml-org/llama.cpp"