AI 에이전트는 ‘전력 먹는 하마’…생성형AI보다 136배 더 써

3 hours ago 1

질문 1건 처리하는 데 348.41Wh 사용
냉장고 8시간 넘게 가동할 수 있는 전력
GPU, 외부 도구 작동시 전력만 낭비

단순 질의응답을 넘어 외부 도구를 스스로 활용해 잡업을 수행하는 ‘인공지능(AI) 에이전트’가 기존 생성형 AI보다 훨씬 많은 전력을 쓰는 것으로 나타났다. 유민수 KAIST 전기및전자공학부 석좌교수팀은 AI 에이전트의 계산 비용과 에너지 소비 추이를 분석한 결과를 5일 공개했다.

연구팀에 따르면 700억 개 매개변수를 갖춘 대형언어모델(LLM) 기반 AI 에이전트는 질문 1건을 처리하는 데 평균 348.41와트시(Wh)의 전력을 썼다. 가정용 냉장고를 8시간 넘게 가동할 수 있는 전력량으로, 기존 생성형 AI의 단순 질의응답 방식보다 136.5배 많다. AI 에이전트는 동적 추론 과정에서 기존 단계별 추론 방식보다 LLM을 평균 9.2배 많이 호출했고, 답변 시간은 최대 153.7배 길어졌다. 외부 도구가 작동하는 동안 그래픽처리장치(GPU)가 연산 없이 대기하며 전력을 낭비한 시간도 전체 실행 시간의 최대 54.5%에 달했다.

하루 137억 건의 요청이 발생한다고 가정하면 데이터센터 전력 수요는 약 198.9GW로, 미국 전체 평균 전력 소비량의 절반에 이를 것으로 추산됐다. 전문가들은 급증하는 연산량에 맞춰 인프라만 늘리는 방식은 지속 가능하지 않다고 경고한다.

이 같은 연구결과는 컴퓨터 시스템 설계 분야 국제학회 ‘32회 IEEE HPCA’에서 2월 발표된 바 있다. 최기영 전 과학기술정보통신부 장관은 “단순 대화와 복잡한 문제를 푸는 에이전트의 전력 소모를 평면 비교하기는 어렵지만, 현재 기술로 고난도 과제를 해결하려면 막대한 에너지가 든다는 점을 정량적으로 보여줬다”며 “알고리즘과 데이터센터 구조를 함께 고려해 전체 시스템을 최적화하는 연구가 필요하다”고 말했다.

김재형 기자 monami@donga.com