내가 17살이라면 LLM을 처음부터 만드는 법을 배우겠다

Hacker News 의견들 이론상 실제 LLM 학습을 할 수 있는 엔지니어 수요는 엄청나지만, 현실에는 일자리와 창업 기회가 거의 없다는 딜레마가 있음 전 세계에서 직접 학습·최적화까지 하는 회사는 극소수이고, LLM 전문 기업조차 예산 대부분을 연산 자원에 쓰며 팀 규모는 작음 비싼 하드웨어 없이 경력을 쌓기 어렵고, 인내심 있는 투자자의 대규모 자금이나 Bay Area 인맥이 없다면 기술을 괜찮은 소득으로 연결하기도 어려움 paulg는 어느 정도 버블 안에 있으며, 그의 관점은 세계적 현실과 맞지 않음 언젠가 작은 LLM을 밑바닥부터 구현해볼 생각임 LLM 연구자로 성공하려는 목적이 아니라, 단순히 사용하는 것보다 훨씬 깊이 이해할 수 있기 때문임 직접 프로그래밍 언어를 설계하고 구현하면 더 나은 프로그래머가 되는 것과 비슷함 20년 전 전자 산업을 이끈 휴대전화와 비슷함 휴대전화의 하드웨어와 신호 처리를 밑바닥부터 만들 줄 아는 사람의 수요는 제조사가 적어서 제한적이었고, Viterbi 같은 일부 엔지니어만 부자가 됐으며 대부분은 괜찮은 생계를 꾸렸음 휴대전화로 부자가 된 사람도 대개 작동 원리를 깊이 알아서 성공한 것은 아니었음 LLM의 저수준 기술도 수학·계산·정보 이론에 기반한다는 점에서 이동통신 기술과 크게 다르지 않음 Apollo 달 로켓 발사를 보고 우주 시대가 오니 청소년에게 차고에서 로켓을 만들라고 권하는 것과 비슷함 장난감 프로젝트로는 가능하지만 직업 기회는 거의 없음 약 5년 전에 장난감 LLM을 만들었고, 아내에게 형편없는 명령줄 데모를 신나게 보여준 것 외에는 거의 쓰지 않았지만 작동 방식과 활용법을 이해하는 데 큰 도움이 됐음 JAX와 PyTorch를 다뤄보고, 로컬 모델로 요청을 중계하는 조잡한 MCP와 LLM 풀도 만들면서 OpenRouter와 MCP 기반 에이전트 작업 흐름의 발전을 쉽게 따라갈 수 있었음 예전에 엉성한 웹 서버와 고통스러운 SQL 계열 데이터베이스를 직접 만들었던 것처럼, 이런 작업이 Nginx·Oracle·AI 연구소 취업으로 이어지지는 않아도 기반 기술에 대한 깊이를 줘서 상위 기술을 빠르게 흡수하고 활용하게 해줌 LLM을 불가사의한 상자로만 보는 사람보다 내부를 이해하는 사람이 훨씬 많은 가치를 끌어낼 수 있으므로, 최소한 입문용 LLM 구현만 해봐도 크게 앞설 수 있음 직접 해보고 싶다면 https://github.com/rasbt/LLMs-from-...