Show GN: 내 GPU로 어떤 LLM을 돌릴 수 있는지 계산해주는 오픈소스 도구 만들었습니다

2 weeks ago 25

AI 인프라 견적/자문 일을 하면서 "이 GPU로 이 모델 돌아가요?"라는 질문에 매번 VRAM을 손으로 계산해서 답하는 게 반복돼서, 이걸 자동화하는 계산기를 만들어 오픈소스로 공개했습니다.

무엇을 하는지:

  • GPU를 고르면 실행 가능한 모델(양자화, 예상 속도)을 계산 — GPU 147종, 모델 320여 개(생성형 LLM/임베딩/리랭커/OCR/문서·범용 VLM/이미지·영상 생성/아바타·립싱크/STT·TTS)
  • 반대로 모델을 먼저 고르면 예산·신품/중고·폼팩터·전력 조건에 맞는 GPU 추천 (GPU Advisor)
  • 여러 GPU에 여러 모델을 배치하는 AI 스택 계획
  • 서비스 트래픽(QPS·동시 요청·SLA) 기준으로 경제형/권장형/확장형 서버 구성안 3가지를 뽑아주는 인프라 견적 모드

가장 신경 쓴 부분은 "이 숫자를 믿어도 되나"입니다. 모든 수치에 출처 등급(제조사 공식 스펙 / 공식 제품군 페이지 / 3rd-party 참고 / 커뮤니티 실측)을 매겨서 표시하고, 추정치를 실측처럼 잘못 쓰지 않도록 프로젝트 원칙으로 못박았습니다. 국내 GPU 시세(다나와 기준, 출처·갱신일 명시)도 포함돼 있습니다.

서버 없이 브라우저에서만 동작하고, 사용자 데이터는 전혀 수집하지 않습니다. 위 링크에서 바로 써볼 수 있고, MIT 라이선스로 GitHub에 전체 소스가 공개돼 있습니다 (https://github.com/jaeseok614/llm-gpu-checker-ko).

써보시고 이상한 수치나 빠진 GPU/모델 있으면 GitHub Issue로 알려주시면 감사하겠습니다.

Read Entire Article