Genie 4 - 소리와 대화를 함께 생성하는 실시간 월드 모델

Google DeepMind가 가상 세계와 음악, 환경음, 대화를 함께 생성하는 Genie 4를 발표하고, 신뢰할 수 있는 테스터를 대상으로 연구 프리뷰 배포를 시작함 자연어로 실시간 시뮬레이션을 수정할 수 있으며, Gemini가 주변 장면에 맞춰 지시를 적용하고 사용자 입력 사이에도 세계가 일관되게 진행되도록 도움 물리 현상과 사람의 행동을 더 사실적으로 시뮬레이션하며, 등장인물이 환경과 사용자 입력에 반응하고 실시간으로 대화할 수 있음 Gemini 3.8 Flash가 장면을 관찰하며 목표를 단계로 나누고 각 단계의 성공 여부를 검증해, 복잡한 다단계 사건을 진행함 아직 초기 실험 모델로, 긴 세션이나 복잡한 수정에서는 시각적 세부와 객체 영속성이 흔들릴 수 있으며 물리적 상호작용, 오디오 정확도, 장기 일관성도 연구 과제로 남아 있음 멀티모달 세계 생성과 Gemini의 역할 Genie 4는 사실적인 영상, 자연스러운 움직임, 자체 오디오 생성을 결합한 실시간 대화형 월드 모델임 사건을 시작하면 세계의 반응과 소리, 사람의 움직임, 반응, 발화를 이어서 시뮬레이션함 공개된 비교 영상의 소리는 모두 Genie 4가 직접 생성함 Gemini Omni는 시뮬레이션의 외형과 행동을 현실에 기반하도록 돕고, 다른 Gemini 모델은 일관성과 연속성 유지에 필요한 복잡한 추론을 담당함 세계를 이해하고 시뮬레이션하는 능력은 AGI 구축의 중요한 요소이며, 안전하고 무한히 변형 가능한 시뮬레이션은 로봇과 에이전트 훈련 환경 개발부터 새로운 대화형 경험 제작까지 활용할 수 있음 실시간 자연어 제어 사용자는 일반 키보드 조작으로 이동과 카메라를 제어하고, 텍스트 프롬프트로 진행 중인 장면을 바꿀 수 있음 자연어 지시로 날씨 변경, 카메라 이동, 사람이나 물체 추가가 가능함 Gemini가 주변 장면의 맥락에 맞춰 프롬프트를 적용함 입력이 없는 동안에도 장면을 관찰하고 조정해 세계가 일관되게 진행되도록 도움 실시간 상호작용 예시에는 호수 위 색소폰 연주자, 초원에서 바람에 흩날리는 분홍색 천, 남극 상공의 열기구가 포함됨 색소폰 장면의 프롬프트는 참조 이미지를 첫 프레임으로 삼고, 인물과 독립적으로 움직이는 카메라, 공간적 연속성, 호수 환경음과 실제 악기 소리를 지정함 다른 예시는 천의 움직임과 열기구 바구니 안의 1인칭 시점을 지정함 물리 현상과 사람의 행동 공기역학과 충돌 등 현실의 물리적 상황을 시뮬레이션하며, 실시간 상호...