Mistral, 단일 카메라 로봇 내비게이션 모델 Robostral Navigate 공개

• 로봇이 RGB 카메라 하나와 자연어 지시만으로 복잡한 환경을 이동하도록 만든 Mistral의 첫 8B embodied navigation 모델임
• R2R-CE validation unseen에서 76.6% 성공률을 기록해 단일 카메라 방식뿐 아니라 depth·다중 카메라 기반 최고 시스템보다도 높은 성능을 냄
• 현재 화면의 목표 이미지 좌표와 도착 시 방향을 예측하는 pointing 방식을 쓰며, 시야 밖 목표는 로봇 로컬 좌표계의 변위 명령으로 대체함
• 기존 오픈소스 VLM에 의존하지 않고 사내에서 구축했으며, 시뮬레이션으로 만든 약 40만 개 trajectory와 6,000개 scene으로 학습함
• prefix-caching으로 학습 토큰을 22배 줄이고, 이후 CISPO 온라인 강화학습으로 성공률을 3.2% 더 끌어올림

단일 카메라 기반 로봇 내비게이션

• Robostral Navigate는 RGB 이미지와 자연어 지시를 입력받아 로봇이 환경을 이동하도록 만든 Mistral의 첫 embodied navigation 모델임
• 예시 지시는 “로비를 나가 복도를 지나 비품실에 들어간 뒤 두 번째 선반을 바라보고 멈추라”는 형태임
• depth 센서, LiDAR, 여러 카메라를 함께 쓰는 접근과 달리, 이 모델은 일반 RGB 카메라 하나만 사용함
• R2R-CE(Room-to-Room in Continuous Environments) validation unseen은 학습에 포함되지 않은 환경에서 지시를 따라 이동하는 벤치마크임
  • Robostral Navigate는 validation unseen에서 76.6% 성공률을 기록함
  • 최고 단일 카메라 접근보다 9.7포인트 높음
  • depth 또는 다중 카메라를 쓰는 최고 시스템보다 4.5포인트 높음

벤치마크 성능과 로봇 호환성

• 이 모델은 사무실, 주거·상업 건물, 야외 환경 같은 복잡한 공간에서 로봇이 자율 이동하도록 설계됨
• 하나의 지시만으로 사람과 장애물이 있는 실제 공간에서 전체 작업을 스스로 수행할 수 있음
• 주요 성능과 동작 조건은 다음과 같음
  • R2R-CE에서 최첨단 성능을 기록함
  • validation seen 성공률은 79.4% 임
  • validation unseen 성공률은 76.6% 임
  • LiDAR나 depth 센서 없이 단일 RGB 카메라로 동작함
  • 사내 구축 8B 모델이며, 학습은 전적으로 시뮬레이션 기반임
  • 바퀴형, 보행형, 비행형 로봇에서 동작하고 로봇 크기 차이에 일반화함
  • 카메라 내부 파라미터 차이에 강건함
  • prefix-caching을 통한 토큰 효율 학습을 사용함

Pointing 기반 이동 방식

• Robostral Navigate는 작업과 관측 이력을 바탕으로 로봇이 다음에 이동해야 할 위치를 pointing 방식으로 예측함
• 예측 대상은 현재 카메라 뷰 안의 목표 위치에 해당하는 이미지 좌표와, 도착했을 때 필요한 방향임
• metric displacement에 의존하는 명령과 달리 pointing은 카메라 내부 파라미터와 실제 세계 스케일 변화에 자연스럽게 강건함
• 목표 위치가 현재 시야 밖에 있으면 pointing만으로 처리하기 어려움
  • 이 경우 로봇의 로컬 좌표계에서 변위 명령으로 대체함
  • 예시는 “앞으로 2미터, 왼쪽으로 1.5미터 이동하고 왼쪽으로 25도 회전” 같은 형태임

사내 구축 모델과 시뮬레이션 데이터

• Robostral Navigate는 기존 오픈소스 VLM에 의존하지 않고 전적으로 사내에서 구축됨
• 초기화에는 pointing, counting, object localization 같은 grounding 작업에 특화된 Mistral의 비전-언어 모델을 사용함
• 내비게이션은 사물의 위치를 이해한 뒤 이동 방법을 학습하는 방식으로, 이러한 grounding 능력의 확장에 해당함
• 데이터 생성 파이프라인은 모두 시뮬레이션 안에서 구축됨
  • 데이터 반복 개선을 빠르게 수행할 수 있었음
  • 최종 데이터셋은 약 40만 개 trajectory와 6,000개 scene으로 구성됨

효율 학습과 온라인 강화학습

• 지도학습의 핵심 요소는 prefix-caching 기반 효율 학습 알고리듬임
• tree 기반 attention masking 전략으로 전체 episode를 하나의 sequence로 압축함
  • 모든 time step을 단일 forward pass에서 학습할 수 있음
  • time step 사이의 정보 누출은 막음
• time step마다 하나의 샘플을 쓰는 학습과 비교해 학습 토큰 수를 22배 줄이면서 학습 신호는 보존함
• 실제로는 수개월 걸릴 학습 실행을 며칠 안에 끝나는 실행으로 바꿈
• 지도학습 이후에는 CISPO 온라인 강화학습 알고리듬으로 성능을 개선함
  • 모델이 시행착오에서 배우고 실패에서 회복하며 탐색 행동을 습득할 수 있게 함
  • 일반 behavior cloning의 distribution shift 문제를 완화함
  • 이 단계만으로 성공률이 3.2% 향상됨
  • 아직 plateau가 보이지 않아 더 많은 학습과 실험으로 수치를 더 높일 수 있음

통합 embodied agent로의 다음 단계

• Robostral Navigate는 통합 embodied agent를 향한 첫 단계에 해당함
• Mistral은 내비게이션을 범용 로보틱스의 기반 능력으로 봄
• 대규모 시뮬레이션, 효율 학습, 강한 grounding prior를 결합하면 컴팩트 모델과 단일 RGB 카메라로 최첨단 embodied navigation을 달성할 수 있음을 보여줌
• Mistral은 로보틱스 팀을 확장 중이며, 연구 과학자와 엔지니어 채용을 진행하고 있음