LLMs는 저렴함

• Large Language Models(LLMs) 의 운영 비용이 생각보다 저렴함
• 초기 생성형 AI 열풍 당시에는 추론 비용이 높았으나, 지난 2년간 비용이 1000배 가까이 감소함
• 웹 검색 API와 비교해볼 때 LLM 사용이 훨씬 저렴하거나 비슷한 수준임
• 시장점유율을 위해 인위적으로 가격 책정된 것이 아니라, 실제로 대부분의 API는 단위 기준 수익성을 확보함
• LLM 비용 구조는 이미 저렴해졌고 앞으로도 더욱 저렴해질 전망임

개요 및 문제 제기

• 최근 수개월간 여러 번 반복된 논쟁을 정리하기 위해 이 글을 작성함
• 많은 사람들이 ChatGPT와 같은 LLM의 운영 비용이 매우 비싸다고 오해하고 있음
• 이로 인해 AI 업체의 사업성이 불투명하다거나, 소비자용 AI 서비스의 수익화에 불리하다는 오분석이 반복됨
• 실제로는 LLM 추론 비용이 급격히 하락했고, 2년 만에 1000배나 저렴해진 현상임
• 흔히 사용되는 "1백만 토큰당 가격 모델" 은 직관적으로 이해하기 어려움

웹 검색과 LLM 비용 비교

웹 검색 API 비용

• Google의 Gemini API는 "Grounding with Google Search" 기능 기준 1,000건: $35 수준으로 제공함
• Bing Search API는 1,000건: $15부터 이용 가능함
• Brave Search API는 1,000건: $5~$9 사이이며, 단가가 높아질수록 오히려 가격이 오르는 구조를 가지고 있음
• 전체적으로 웹 검색 API는 저렴하진 않으며, 서비스 질이 좋은 쪽이 더 비쌈

LLM 추론 비용

• 검색과 비교 가능한 방식으로 LLM 단가 산정 필요: 한 질의당 토큰 출력 개수 + 토큰당 가격
• 실제 검색 질의를 참고한 결과, 답변의 토큰 수는 평균 500~1,000토큰임
• 모델별 가격이 $/1k tokens 단위로 제공되기에, 검색 API와 직접 비교 가능함
• 대부분의 LLM API는 웹 검색보다 최소 10배 이상 저렴함
• 배치 단위, 비피크 시간 할인 등 다양한 추가 할인 조건 고려시 더 저렴해짐

반론 및 주요 이슈

LLM 응답 텍스트가 더 길 경우

• 일반적인 웹 검색 대체용 질의 기준 충분히 높은 범위를 적용하여 비교함
• 코딩 등 일부 특수한 케이스는 별도의 비교가 필요함

LLM API 가격이 인위적으로 저렴하게 책정된 점에 대한 반론

• 실제로 LLM API는 지속적으로 수익성이 확보된 상태로 제공되고 있음
• 공개된 분석 데이터, Deepseek의 인퍼런스 효율 분석 등 실증 자료가 이를 뒷받침함
• 일부 모델은 오픈웨이트로 제공되기에 외부 호스팅과의 차이도 거의 없음

인덱싱 및 학습비용 반영 관련

• 검색 API는 인덱스 구축 및 갱신 비용이 포함된 반면, LLM 서비스는 주로 추론 비용만 반영됨
• 그러나 인퍼런스 규모 증가로 인해 훈련 비용 역시 빠르게 상각되고 있음

마진 구조 차이

• 검색 API의 마진이 더 높을 가능성을 배제할 수 없음
• Deepseek R1 실측치에서 80% 마진 달성 예시 제시

응답 속도 문제

• 웹 검색은 병렬화가 쉬워 빠르지만, 현재 LLM 추론은 순차적 특성상 상대적으로 느림

OpenAI 등업체의 적자 구조

• OpenAI가 막대한 적자를 기록하는 것은 매출화가 미진한 무료 사용자가 많기 때문임
• 현 사용자당 월 1달러 수준으로 광고 등 수익화를 적용한다면 비용 대응 구조는 충분함

왜 중요한가

• 많은 미래 예측이 LLM이 비싸다는 잘못된 전제에 기반해 이루어지고 있음
• 실제로는 비용 하락과 수요 증대가 동시에 발생, 향후 가격은 더 하락하며 시장 활성화 예상
• Frontier AI 기업들은 수익화보다 시장 선점에 초점을 두며, 실제로 LLM 서비스 단가가 특히 낮음
• 진짜 비용 문제는 LLM 자체가 아니라 후방의 외부 연동 서비스(예: 티켓팅 사이트 등) 에 있음
• 이러한 외부 서비스들이 수익을 얻지 못하는 구조에서, 향후 AI와 백엔드 서비스 간 새로운 수익모델 또는 기술적 대립 가능성 존재

결론

• LLM 운영 비용은 더 이상 문제의 핵심이 아님
• AI 서비스의 실제 경쟁력은 연동 후방 서비스 인프라와 수익화 구조에 있음
• AI 자체는 계속 저렴해지며, 활용 사례도 증가할 전망임

추가 참고 자료

• 본문에 미반영된 참고 자료 목록 제공됨