DoorDash가 정확도를 유지하면서 LLM 검색 비용을 98% 줄인 방법

LLM의 내장 웹 검색을 별도의 검색 API로 분리해, 검색어의 의도를 분류하는 평가에서 정확도를 유지하면서 검색 요금을 98% 이상 절감함. 모델 추론 비용은 제외한 수치임 여러 AI 에이전트가 하나의 검색 게이트웨이를 공유하며, 모델과 검색 업체를 독립적으로 교체할 수 있음. 검색 결과 수, 캐시 정책, 장애 시 대체 업체도 설정으로 관리함 같거나 의미가 비슷한 질문의 검색 결과를 재사용해 중복 호출을 줄임. 캐시가 채워진 평가에서는 초기 실행보다 평균 지연 시간이 68%, 검색 비용이 99% 이상 감소함 검색 결과를 제목, URL, 본문 발췌문으로 정리해 모델에 전달함. 내장 검색을 켰을 때 ‘답만 출력하라’는 지시를 어기고 불필요한 설명을 붙이는 문제도 줄어듦 최신 정보가 필요한 평가에서는 내장 검색이 더 정확했음. 내장 검색도 선택지로 남겨두고, 업무별로 정확도와 최신성, 비용에 맞는 검색 방식을 선택함 검색 의도 이해와 내장 검색의 제약 DoorDash의 검색 의도 이해(QIU) 시스템은 상품 카탈로그와 웹 근거를 활용해 모호한 마켓플레이스 검색어를 해석함 450 north를 검색 근거 없이 응답한 모델은 음식점으로 분류했지만, 카탈로그와 웹 검색은 수제 맥주 양조장으로 식별함 최종 의도가 Alcohol로 정해지면 후속 검색은 음식점 결과 대신 관련 상품 재고로 향함 내장 검색(native search) 은 모델 공급자의 API가 자체 검색 스택을 호출하고 결과를 생성 과정에 결합함. 활성화는 쉽지만 요청과 응답 사이의 검색 결정은 외부에서 통제하기 어려움 프로덕션 파이프라인에서는 세 가지 제약이 있음 제어: 추론 모델과 검색 백엔드의 경계가 없어 모델 교체나 공급자 가격 변경에 대응하려면 모델 연동을 수정해야 함 재사용: 두 에이전트가 같은 질문을 해도 검색을 가로채 재사용할 지점이 없어 각각 비용을 지불함 관측 가능성과 출력 계약 안전성: 쿼리별 비용과 지연 시간이 드러나지 않고, 검색 활성화가 엄격한 출력 형식을 깨뜨림 검색이 유발하는 장황한 응답 중간 처리 단계의 LLM 출력은 JSON, 열거형, 불리언으로 파싱되므로, 설명이나 서문 없이 최종 답만 반환해야 함 검색을 끄면 모델이 지시를 따르지만, 내장 검색을 켜면 불필요한 설명을 덧붙이는 경우가 잦음 건물 두 개의 높이를 비교하며 최종 답만 요구한 사례에서 내장 검색은 “Based on the search results …”로 시작하는 24...