rasbt/LLMs-from-scratch
Hướng dẫn xây một LLM giống ChatGPT bằng PyTorch từ số 0, từng bước một.
Điểm nổi bật
- Code ngắn gọn, dễ đọc cho người học.
- Mỗi chương có phần giải thích và câu hỏi ôn tập.
- Bao gồm tokenizer, attention, pretraining, finetuning và RLHF.
- Dùng được để huấn luyện mô hình nanoGPT nhỏ.
Mô tả từ GitHub
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
- Ngôn ngữ
- Jupyter Notebook
- Số sao
- 108K
- Thêm vào kho
- 29/06/2026
curl "https://repo.shopkitai.com/api/v1/repos/rasbt/LLMs-from-scratch"