Sebastian Raschka의 추론 모델을 밑바닥부터 만드는 동영상 강좌

사전 학습된 Qwen3 0.6B를 출발점으로, Python과 PyTorch에서 평가, 추론 시점 확장, 강화학습, 증류를 직접 구현하는 8개 영상, 11시간 이상의 강좌임 모델 가중치를 고정한 채 답변을 개선하는 자기 일관성과 자기 개선부터, 검증 가능한 보상을 이용해 가중치를 갱신하는 강화학습까지 순차적으로 다룸 수학 답안 검증기를 직접 만들어 MATH-500 평가에 사용하고, 같은 검증기를 검증 가능한 보상 기반 강화학습(RLVR) 의 보상 신호로 재사용함 강화학습에서는 GRPO 학습 루프와 안정성 분석을 구현하며, 마지막에는 DeepSeek R1의 답변을 활용한 증류를 대안적인 학습 경로로 다룸 Python과 PyTorch에 익숙한 학습자를 대상으로 하며 이전 LLM 강좌는 필수가 아님. 초기 생성과 평가는 CPU로 진행할 수 있지만, 후반 실험과 학습에는 GPU가 훨씬 실용적임 LLM, 추론 모델, 에이전트의 관계 추론 모델은 기존 LLM에 검증 가능한 보상 기반 강화학습 등의 추가 사후 학습을 적용해 더 어려운 문제를 풀도록 개선한 모델이며, 선택적으로 추론 시점 확장 기법을 적용함 전통적으로 수학과 코드 문제를 중심으로 개발됐지만, 능력이 다른 문제 영역으로 일반화될 수도 있음 현재 세대 LLM 대부분은 추론 모델이거나 추론 모드를 제공하며, 추론에 들이는 노력을 조절하는 설정도 갖춤 에이전트 하네스(harness) 는 LLM이나 추론 모델을 둘러싼 소프트웨어 및 도구 프레임워크로, 정교한 문맥 관리와 도구 접근을 담당함 모델이 엔진이라면 하네스는 그 엔진으로 더 큰 코딩 작업, 여행 예약, 개인 비서 업무 등을 수행하게 하는 장치에 해당함 일반 LLM도 사용할 수 있지만, 더 높은 능력을 갖춘 추론 모델이 일반적인 선택임 관련 학습 자료로 다음 도서, 강좌, 문서를 활용할 수 있음 Build a Large Language Model (From Scratch) 도서와 동영상 강좌는 LLM 구현을 다룸 Build a Reasoning Model (From Scratch)는 이번 동영상 강좌의 동반 도서임 Components of a Coding Agent는 코딩 에이전트의 구성 요소를 다룸 학습 범위와 준비 사항 사전 학습된 소형 Qwen3에서 시작해 기반 모델 학습 대신 평가, 추론 시점 확장, 강화학습, 증류 구현에 집중함 Python과 PyTorch에 익숙할 것을 권장하며, 이전 LLM 강좌 없이...