lyogavin/airllm
AirLLM giúp chạy mô hình 70 tỷ tham số chỉ với một GPU 4GB, không cần lượng tử hóa, chưng cất hay cắt tỉa.
Điểm nổi bật
- Có thể chạy mô hình rất lớn trên bộ nhớ GPU nhỏ.
- Hỗ trợ cả huấn luyện bằng cách nạp từng lớp một.
- Phù hợp máy yếu muốn thử mô hình lớn.
- Tốc độ phụ thuộc vào cách nạp từng lớp.
Mô tả từ GitHub
AirLLM 2.8T LLM inference with single 4GB GPU
- Chủ đề
- Mô hình AI & Huấn luyện
- Ngôn ngữ
- Jupyter Notebook
- Số sao
- 42.5K
- Thêm vào kho
- 10/08/2026
curl "https://repo.shopkitai.com/api/v1/repos/lyogavin/airllm"