Kho Repo
Quay lại kho repo
lyogavin / airllm
Ảnh xem trước của lyogavin/airllm

lyogavin/airllm

Mô hình AI & Huấn luyệnJupyter Notebook42,483 saoThêm 3 tháng trước
Xem trên GitHub

AirLLM giúp chạy mô hình 70 tỷ tham số chỉ với một GPU 4GB, không cần lượng tử hóa, chưng cất hay cắt tỉa.

Điểm nổi bật

  • Có thể chạy mô hình rất lớn trên bộ nhớ GPU nhỏ.
  • Hỗ trợ cả huấn luyện bằng cách nạp từng lớp một.
  • Phù hợp máy yếu muốn thử mô hình lớn.
  • Tốc độ phụ thuộc vào cách nạp từng lớp.

Mô tả từ GitHub

AirLLM 2.8T LLM inference with single 4GB GPU

Ngôn ngữ
Jupyter Notebook
Số sao
42.5K
Thêm vào kho
10/08/2026
AI agent có thể lấy repo này qua API
curl "https://repo.shopkitai.com/api/v1/repos/lyogavin/airllm"

Repo cùng chủ đề

Những lựa chọn khác trong “Mô hình AI & Huấn luyện”.

lyogavin/airllm — Kho Repo