Jev 덕분에 구조화된 출력이 다시 흥미로워졌다

AI가 긴 답변 대신 프로그램의 의사결정 지점마다 빠르고 저렴한 판단을 제공하면, 정교한 챗봇을 넘어 새로운 종류의 응용을 만들 수 있음 Jev는 자연어 입력과 선택지를 받아 여러 질문의 답을 한 번에 병렬 처리하며, 텍스트로 전달한 게임 상태를 바탕으로 Doom을 실시간 플레이할 만큼 빠르게 동작함 기존 LLM도 응답 앞부분을 미리 채우고 선택지를 단일 토큰으로 출력하게 하면 비슷한 특성을 구현할 수 있으며, Qwen 소형 모델 실험에서는 일반 구조화된 출력보다 2~3배 빨랐음 Jev의 차별성이 모델 자체와 실행 방식 중 어디에서 나오는지는 불분명하지만, 구조화된 출력에 집중한 학습과 최적화는 의미 있는 강점이 될 수 있음 선택지를 제한해도 오답은 가능하고 긴 추론에는 불리하지만, 빠른 판단에 특화된 모델들이 경쟁하는 방향은 AI 제품을 만드는 새로운 기반이 될 수 있음 구조화된 출력만 만드는 Jev Jev는 “System One” 모델로, 일반 LLM의 구조화된 출력과 완전히 다른 방식은 아니지만 구조화된 출력만을 위한 인터페이스를 사용함 이름은 Daniel Kahneman의 『Thinking, Fast and Slow』에서 빠른 System One과 느리고 숙고하는 System Two로 인간 인지를 나눈 구분에서 유래함 해당 책의 일부 내용에는 재현성 문제가 있음 일반 LLM은 자연어 입력을 받아 토큰을 하나씩 생성하는 자기회귀 방식으로 자연어를 출력함 컴퓨터가 할 수 있는 작업을 폭넓게 처리할 수 있지만, 토큰마다 새 생성 연산이 필요해 느림 학습 대상인 자연어의 범위가 넓어 출력에 중국 도박 광고가 등장하는 사례처럼 이상한 동작도 발생할 수 있음 Jev는 “하늘은 무슨 색인가?”라는 상태와 ["blue", "red", "yellow"] 같은 선택지를 입력받아 { answer: "blue" } 처럼 답함 기존 LLM도 구조화된 출력을 지원하지만, 출력 형식을 이것으로 한정하면 속도와 처리 방식에서 유용한 특성이 생김 빠른 추론으로 사용 방식 자체를 바꾸려는 접근에는 Thinking Machines의 “interaction models”도 있음 낮고 일관된 지연 시간이 여는 활용 Jev의 응답 시간은 가장 빠를 때 약 70ms, 가장 느릴 때 500ms로, 일반 LLM의 수 초 단위 응답보다 빠름 일반 LLM은 구조화된 출력에서도 {, 공백, answer, : 등을 연속된 순전파로 생성함 Jev는 자기회귀...