alibaba/MNN
MNN là engine suy luận cực nhanh, nhẹ, được Alibaba kiểm chứng, chạy LLM trên thiết bị và AI biên.
Điểm nổi bật
- Phát hành MNN-Pocket-0.3B: mô hình 300 triệu tham số cho ứng dụng di động, ngữ cảnh 32K.
- Bản INT4 chỉ chiếm 173 MB, giải mã 350 token/giây trên iPhone (theo thử nghiệm).
- Bản 3.6.1 thêm backend Hexagon.
- Giấy phép Apache 2.0.
Mô tả từ GitHub
MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.
- Ngôn ngữ
- C++
- Số sao
- 16.5K
- Thêm vào kho
- 12/09/2026
curl "https://repo.shopkitai.com/api/v1/repos/alibaba/MNN"