Show GN: 생성형 LLM 없이 만든 실시간 음성 예약 봇 데모 - jev 활용기

안녕하세요. 저희는 AI와 사람 간의 실시간 음성 통신 기술을 개발하고 있습니다. "단순 일상 대화가 아니라 식당 예약처럼 실제 비즈니스 업무를 수행하는 음성 에이전트를 만드는 게 가능한가?"라는 의문에서 출발해, 실제 데모를 구현하며 겪은 생성형 LLM의 한계와 이를 비생성형 판별 모델인 jev 중심의 파이프라인으로 해결한 과정 및 라이브 데모를 공유합니다. 실시간 음성 예약 데모 (한국어만 가능) : https://raixact.com 아래 요약본의 전체 전문 : Medium 왜 생성형 LLM을 걷어냈는가? (직접 구축하며 겪은 시행착오) 화면 UI가 없는 음성 통화는 1초 남짓한 침묵에도 사용자가 장애를 의심하며, 구어체 노이즈와 말실수, 변심이 실시간으로 들어옵니다. 침묵을 메우려고 흔히 넣는 필러("잠시만요...")도 반복되면 큰 피로감을 주기 때문에 결국 무조건 빠른 LLM 모델을 써야 하는 구조적 제약이 있었습니다. 1) 단일 LLM 에이전트 실험 처음에 많이 시도하듯 프롬프트 하나에 비즈니스 규칙과 Tool Calling을 몰아넣고 LLM을 돌리는 방식입니다. 지시 이행이 잘 안되고, 환각이 심하며, 느립니다. 2) 워크플로우 도구 적용 비즈니스 로직을 흐름으로 정리해 단계별 LLM을 나눈 방식이라 단계별 처리는 나아졌으나, 극단적으로 말하면 '버튼 대신 목소리로 누르는 ARS'에 가까웠습니다. 다중 조건 입력이나 통화 중 인원 변경, 문맥을 벗어난 중간 문의 등 사용자의 자유 발화를 허용하는 순간 한계가 왔습니다. 3) 경량 LLM 의도 판별기 도입 한국어 처리가 빠른 10B급 경량 LLM을 붙여 슬롯 필링과 의도 판별을 맡기고, 실제 답변은 상태에 따라 코드 기반으로 생성하되 일부만 LLM이 처리하는 형태로 구현해 보았습니다. 그러나 경량 LLM은 컨텍스트가 조금만 쌓여도 JSON 출력이 깨졌고, 단일 값 오인식은 물론 "내일이나 모레" 같은 다중 선택 배열 추출은 아예 기대하기 어려웠습니다. 지연 시간도 심하게 요동쳤습니다. 빠른 답변과 동시에 사용자가 자유롭게 말하는 구조 자체는 가능해졌지만, 경량 LLM의 성능 한계로 인해 적용하는 비즈니스마다 파인튜닝이 필수라는 점이 큰 부담이었습니다. 현재: 역할 분리형 비생성 파이프라인 (Kiwi + jev + ColBERT) 추출 능력이 없는 비생성형 판별 모델 jev의 특성을 고려해, [가벼운 전처리기의 후보 추출 → jev의 순수 의도 판별 →...