| 한눈에 보기 | |
|---|---|
| 저장소 | rasbt/LLMs-from-scratch |
| 개발 | rasbt (개인) |
| GitHub 스타 | 107,416 (오늘 +53) |
| GitHub 트렌딩 | 일간 Jupyter 4위 |
| 포크 | 16,555 |
| 주 언어 | Jupyter Notebook |
| 공개일 | 2023-07-23 |
LLMs-from-scratch(rasbt/LLMs-from-scratch)는 외부 LLM 라이브러리 없이 PyTorch만으로 GPT 계열 언어모델을 개발·사전학습·미세조정하는 전 과정을 코드로 풀어낸 저장소다. 저자 세바스찬 라슈카가 2023년 7월 공개한 이후 꾸준히 갱신돼 왔고, 최근 커밋은 2026년 10월 초다. 이미 규모가 큰 저장소임에도 하루 50여 개씩 스타가 늘며 트렌딩에 다시 이름을 올렸다.
무엇을 하나: LLM 개발 전 과정을 노트북으로
저장소는 책의 장(章) 순서를 그대로 따른다.
- 2장: 텍스트 데이터 처리와 토크나이저, 바이트 페어 인코딩(BPE) 구현
- 3장: 셀프 어텐션과 멀티헤드 어텐션 코딩
- 4장: GPT 모델 아키텍처 구현
- 5장: 라벨 없는 데이터로 사전학습, 공개 가중치 로딩
- 6장: 텍스트 분류용 미세조정
- 7장: 지시 따르기(instruction tuning) 미세조정
- 부록: PyTorch 입문, 분산학습(DDP), LoRA 등 파라미터 효율 미세조정
각 장에는 연습문제 해답 노트북이 있고, 별도로 퀴즈 170쪽 분량의 무료 PDF도 제공된다.
작동 방식·구조: 작은 모델로 원리를 체득
저자는 이 책의 방식이 ChatGPT 같은 대형 파운데이션 모델을 만드는 접근과 같은 흐름을 따르되, 교육용으로 작지만 동작하는 모델을 만드는 데 초점을 둔다고 설명한다. 토큰화 → 어텐션 → GPT 블록 조립 → 사전학습 → 미세조정 순으로 이어지는 구조다.
본문 외 보너스 자료의 폭이 넓다. KV 캐시, 그룹쿼리 어텐션(GQA), 멀티헤드 잠재 어텐션(MLA), 슬라이딩 윈도 어텐션, Gated DeltaNet, 딥시크 희소 어텐션(DSA), 전문가혼합(MoE) 같은 최신 어텐션·구조 변형이 폴더별로 정리돼 있다. 또 Llama 3.2, Qwen3, Gemma 3, Olmo 3, Qwen3.5, Gemma 4 E2B/E4B 등을 처음부터 구현한 코드도 포함한다.
써보면: 설치와 실행
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
cd LLMs-from-scratch
# setup 폴더의 안내에 따라 파이썬 패키지 설치 후
jupyter lab ch04/01_main-chapter-code/ch04.ipynb
요약 스크립트도 있어 노트북 없이 실행할 수 있다. 예를 들어 ch05/01_main-chapter-code/gpt_train.py는 사전학습, gpt_generate.py는 텍스트 생성을 담당한다. 환경 구성은 저장소의 setup 디렉터리와 Docker 가이드를 참고하면 된다.
누구에게 유용한가
- 프레임워크 호출 수준을 넘어 트랜스포머 내부를 이해하려는 개발자와 대학원생
- 사내 스터디나 강의 교재로 LLM 기초를 다루려는 교육 담당자
- 최신 오픈 모델(Qwen, Gemma 등)의 구조 차이를 코드로 비교하고 싶은 연구자
후속편 'Build A Reasoning Model (From Scratch)'은 사전학습된 모델에서 출발해 추론 시점 확장, 강화학습, 증류를 구현한다. 17시간 15분 분량의 동영상 강의도 별도로 제공된다.
의의와 한계
핵심 강점은 노트북 기반의 단계별 설명과 지속적인 업데이트다. README에 따르면 본문 코드는 일반 노트북 PC에서 합리적인 시간에 돌도록 설계됐고, GPU가 있으면 자동으로 활용한다. 파이썬 숙련도가 사실상 유일한 선수 조건이며 PyTorch 기초는 부록에서 보충한다.
다만 학습용 소형 모델이 목적이라 상용 수준의 대규모 학습이나 프로덕션 서빙 도구로 쓰기는 어렵다. 저장소 메타데이터상 라이선스는 명시되지 않아(null로 표시) 코드를 재배포하거나 상업적으로 쓸 때는 저장소의 라이선스 파일을 직접 확인하는 것이 안전하다. 또한 별도 릴리스는 없고 main 브랜치 중심으로 갱신된다. 책 구매가 필수는 아니지만, 설명은 도서와 함께 볼 때 가장 충실하다.
