Vertex AI Priority PayGo, 실서비스 27,000건으로 검증해보니 Standard와 차이 없었음

10 hours ago 3

Vertex AI의 Priority PayGo를 실운영 AI 챗봇에 적용하고, 약 2주간 누적된 27,000건의 데이터를 시간대별로 분석한 결과를 공유
중간값(Median) 기준 응답 시간은 ON_DEMAND(Standard)와 ON_DEMAND_PRIORITY가 대부분 100~300ms 이내로, 사실상 동일한 성능
Priority가 유의미하게 빠른 시간대는 16시(-338ms) 정도가 유일했고, 나머지 23시간은 비슷하거나 오히려 Standard가 빠름
10초 초과 요청 비율은 Standard 3.4%, Priority 5.9%로, Priority가 오히려 1.7배 불안정한 결과
특히 야간(22~23시)에 Priority의 10초 초과율이 12%를 넘기며 Standard 대비 3배 이상 높았음
토큰 단가가 1.8배 높은 점을 고려하면, 현 시점에서 Priority PayGo의 비용 대비 성능 이점은 없다고 판단
gemini-3-flash-preview(프리뷰 모델) + asia-northeast3(서울 리전) 환경에서의 결과이므로, GA 출시 이후 달라질 수 있음

게임 정보