Hybrid Reasoning Agents: 잠재 공간에서 사고하고 텍스트로 행동하는 LLM 에이전트

HybridAgent는 하나의 생성 과정에서 잠재 공간 추론과 텍스트 생성을 동적으로 전환하며, 내부 추론과 외부 도구 사용을 결합함 경량 어댑터 HybridLink가 마지막 계층의 은닉 상태를 입력 임베딩 공간으로 연결하고, 연속 작업 메모리가 텍스트, 잠재 벡터, 도구 응답을 여러 턴에 걸쳐 보존함 잠재 추론 단계는 가장 가까운 토큰 임베딩에 대응시켜 의사 텍스트로 검사할 수 있으며, 실제 잠재 추론은 토큰 디코딩 없이 진행됨 HybridSFT는 모델과 HybridLink의 협업을 안정화하고, HybridRL은 잠재 공간에서 사고할 때와 텍스트로 행동할 때를 학습함 Qwen3-Base 4B/8B/14B 기반의 11개 벤치마크 평가에서 RL 단계의 평균 성능 개선 폭은 10.4% 이며, 토큰 사용량은 35.5~54.7% 감소함 텍스트 에이전트와 잠재 추론의 결합 기존 LLM 에이전트는 도구 호출뿐 아니라 중간 추론도 토큰 단위의 텍스트로 생성한 뒤 외부 환경에 행동함 잠재 추론은 연속 은닉 공간에서 계산해 중간 단계를 모두 언어화하는 과정을 우회하지만, 기존 방식에는 두 가지 제약이 있음 연속 잠재 벡터를 여러 턴의 도구 호출로 연결하는 기본 경로가 부족함 사람이 이해할 수 있는 의미를 쉽게 드러내지 않아 학습 시 감독과 추론 시 감사/디버깅이 어려움 HybridAgent는 연속 벡터와 이산 토큰을 같은 생성 과정에서 처리하고, 모드 전환 시점을 동적으로 결정함 내부 추론은 잠재 공간으로 옮기고, 외부 검사와 도구 상호작용에는 텍스트를 사용함 기존 백본 구조를 유지하므로 처음부터 사전학습할 필요 없이 전용 후속 학습으로 전환할 수 있음 구현 코드는 HybridAgent 저장소에 공개됨 HybridLink와 동적 모드 전환 기존 잠재 추론처럼 마지막 계층의 은닉 상태를 다음 입력에 그대로 넣으면 사전학습된 입력 임베딩 공간과의 표현 불일치가 발생함 HybridLink는 잔차 어댑터 R(h) = h + W₂σ(W₁h)로 은닉 상태를 다음 단계의 입력 임베딩 공간에 연결함 두 선형 변환과 GELU 같은 활성화 함수를 사용함 잔차 연결로 원래 의미를 상당 부분 유지하고, 전체 투영을 처음부터 학습하기보다 분포 차이를 정렬함 파라미터 수는 약 2d_h²이며, 4B LLM에서는 약 1,000만 개임 텍스트 모드는 일반 LLM처럼 다음 토큰을 샘플링하다가 <latent>를 생성하면 잠재 모드로 진입함 잠재 모드...