FLUX 3 x mimic: 로봇을 위한 차세대 비디오-액션 모델

Black Forest Labs와 mimic robotics는 이미지·비디오·오디오를 공동 학습한 FLUX 3 백본에 로봇 행동 예측을 결합해, Audi 생산 현장에서 시험·배포한 FLUX-mimic을 개발함 전체 학습 연산의 95% 이상을 차지하는 비디오 예측으로 접촉·운동·무게·인과관계를 익히고, 저차원 로봇 행동도 같은 물리 현실을 나타내는 추가 양식으로 처리함 행동 예측을 추가한 직후 비디오 생성 품질이 최대 10% 하락했지만 3,500스텝 뒤 기존 수준을 회복해, 하나의 백본으로 생성과 행동 예측을 함께 수행할 수 있음을 확인함 Self-Flow로 생성·표현 학습을 통합하고 경량 행동 디코더를 연결해, 단일 NVIDIA RTX 5090에서 백본 처리 80ms 미만, 전체 로봇 반응 시간 101ms를 달성함 범용 비디오와 조작 작업을 대규모로 학습한 세계 모델은 적은 시연만으로 새 작업에 적응하고 실패 후 재시도해, 유연한 부품과 정밀 조작처럼 기존 자동화의 비용이 높았던 생산 작업에 활용됨 하나의 백본으로 콘텐츠 생성과 로봇 제어 FLUX 1·FLUX 2가 이미지 생성에 집중한 데 이어, FLUX 3는 이미지·비디오·오디오를 처음부터 함께 학습해 시청각 콘텐츠를 공동 생성함 Black Forest Labs는 mimic robotics에 FLUX 3 초기 버전을 제공하고, 양사의 로봇 학습·배포 및 기반 모델 전문성을 결합해 FLUX-mimic을 개발함 mimic은 자체 로봇과 로봇 학습, 정교한 조작, 생산 환경 배포를 담당함 Black Forest Labs는 시각 기반 모델과 다중양식 학습·모델링 역량을 제공함 FLUX-mimic은 FLUX 3 백본에 기반한 범용 조작용 비디오-액션 모델이며, mimic의 풀스택 배포 시스템에 통합됨 같은 백본이 이미지·비디오·오디오 콘텐츠를 생성하는 동시에, Physical AI에서는 행동을 수행함 비디오 예측으로 학습하는 물리 세계 FLUX 3 학습 연산의 95% 이상이 비디오 예측에 사용됨 사실적인 비디오를 만들려면 접촉, 운동, 무게, 원인과 결과를 학습해야 하며, 이를 잘못 처리하면 결과 영상도 부자연스러워짐 세계를 정확히 렌더링하는 과정은 세계가 작동하는 방식을 학습하는 과정과 연결됨 오디오는 720p 음향 포함 비디오에서 토큰의 0.5% 미만을 차지하는 저차원 양식임 비디오를 이해한 모델은 입술 움직임과 동기화된 음성, 물리적 사건에 맞물린 효과음의 인과...