“코딩 도와줘” 했더니 40만원 청구서…AI 비용 절감법 찾은 개발자

22 hours ago 4

AI 활용 비용 부담이 커지는 가운데, 넷플릭스 개발자가 불필요한 토큰 사용을 줄이는 오픈소스 도구를 공개해 주목받고 있다. 사진=게티이미지

AI에 질문을 몇 번 주고받았을 뿐인데 “토큰이 부족하다”며 추가 요금을 요구받는 이른바 ‘AI 요금 폭탄’ 사례가 늘고 있다. 이런 가운데, 불필요한 토큰 사용을 줄여 비용 부담을 낮춰주는 오픈소스 도구를 한 개발자가 화제를 모으고 있다.

31일(현지시간) 영국 IT 전문매체 더레지스터에 따르면 넷플릭스 수석 엔지니어 테자스 초프라는 최근 오픈소스 서밋에서 자신이 개발한 오픈소스 프로젝트 ‘헤드룸(Headroom)’을 소개했다.

헤드룸은 AI 모델에 데이터가 전달되기 전, 불필요한 내용을 미리 줄여주는 일종의 ‘토큰 다이어트’ 도구다. 토큰은 AI가 문장을 읽고 답변을 만드는 데 쓰는 기본 단위다. 쉽게 말해 AI에게 많이 읽힐수록 비용도 커진다.

초프라는 대형언어모델(LLM)에 전달되는 토큰의 최대 90%가 중복되거나 불필요한 정보일 수 있다고 추산했다. 그는 헤드룸이 지금까지 이용자들의 AI 비용을 약 70만 달러(약 10억 원) 줄이는 데 기여했으며, 절감된 토큰 규모는 2000억 개에 달한다고 밝혔다.

● 개인 프로젝트 하다 287달러 청구서…“문제는 숨은 데이터”

헤드룸 개발의 계기는 초프라가 직접 겪은 ‘요금 폭탄’이었다. 그는 개인 프로젝트에서 코드 디버깅, 리팩토링, 데이터베이스 조회 등에 AI 모델을 활용했다가 287달러(약 43만 원)의 청구서를 받았다.

문제는 사람이 직접 입력한 질문이 아니었다. AI가 답변을 만들기 위해 함께 읽는 불필요한 데이터들이었다. 복잡한 JSON 스키마, API 응답 템플릿, 반복되는 데이터베이스 구조 정보 등이 AI 모델에 그대로 전달되며 비용을 키웠다는 것이다.초프라는 이를 “텍스트로 위장한 압축 가능한 데이터”라고 표현했다.

● 로그·문서·도구 출력까지 줄인다

헤드룸은 AI가 답변을 만들기 위해 자료를 읽기 전에, 먼저 불필요한 내용을 걸러내는 방식으로 작동한다. 사용자가 주고받은 대화 기록은 물론 로그 파일, 각종 프로그램 실행 결과, 데이터베이스 응답, AI가 참고하려고 가져온 문서 내용 등을 분석해 중복되거나 필요 없는 부분을 줄여준다.

예를 들어 서버 로그에는 시간, ID, 상태코드처럼 같은 형식으로 반복되는 정보가 많다. AI가 오류 원인을 찾는 데 꼭 필요하지 않은 내용까지 모두 읽으면 그만큼 토큰 비용이 늘어난다. 헤드룸은 이런 반복 정보를 줄여 서버 로그의 경우 최대 90%, 외부 도구가 내놓는 JSON 형식의 데이터는 약 70%까지 불필요한 내용을 덜어낼 수 있다는 설명이다.

다만 헤드룸은 넷플릭스의 공식 프로젝트는 아니다. 초프라가 개인적으로 만든 오픈소스 프로젝트다. 그럼에도 넷플릭스 내부 일부 팀과 외부 개발자들이 이미 활용하고 있는 것으로 전해졌다. 지난 1월 공개된 이후 깃허브에서 2000개 이상의 ‘스타’를 받았고, 120명 넘는 개발자가 해당 프로젝트를 복사해 각자 수정·활용한 것으로 전해졌다.

● 토큰 다이어트, 비용 넘어 품질까지

토큰을 줄이는 것은 단순히 돈을 아끼는 문제만은 아니다. AI가 너무 많은 정보를 한꺼번에 받으면 오히려 답변 품질이 떨어질 수 있다는 연구도 있다.

매체는 일부 연구를 인용해 LLM이 긴 문맥을 처리할 때 앞부분과 끝부분에 더 집중하고, 중간 내용을 놓치는 경향이 있다고 전했다. 불필요한 정보를 줄이면 비용뿐 아니라 응답 속도와 정확도 개선에도 도움이 될 수 있다는 것이다.

초프라는 아직 헤드룸의 정확도 검증 등 개선할 부분이 남아 있다고 밝혔다. 향후에는 금융 데이터, 오디오, 이미지, 영상 등 다양한 데이터 유형을 압축하는 기능도 추가될 수 있다.

AI 활용이 늘어날수록 기업과 개발자들의 비용 부담도 커지고 있다. 이제는 AI에 더 많은 정보를 넣는 것만큼이나, 불필요한 정보를 얼마나 덜어낼지가 중요한 과제로 떠오르고 있다.

황수영 기자 ghkdtndud119@donga.com