JEPA로 플라톤적 표현 가설을 증명하고 개선하기

서로 다른 모달리티에서 독립적으로 학습한 JEPA가 동일한 세계 상태를 연결하는 양성 쌍을 사용하면, 일정한 가정 아래 회전 변환만 다른 동일한 표현을 학습한다는 정리를 증명함 정렬을 좌우하는 핵심은 규모뿐 아니라 뷰의 구성임. 같은 장면의 서로 다른 관측을 연결하면 공통 내용을 학습하지만, 단일 관측을 마스킹하거나 잘라 연결하면 해당 모달리티의 표현 방식까지 학습할 수 있음 같은 말뭉치에서 좋은 뷰를 사용한 JEPA는 다음 토큰 예측과 비슷한 정렬에 도달하는 데 학습 샘플이 약 42배 적게 필요했음 1억 900만 파라미터 텍스트 JEPA는 DINOv2와의 정렬에서 평가한 최대 720억 파라미터 언어 모델과 CLIP 텍스트 인코더를 앞섰음. 이는 표현 정렬 평가이며 언어 모델의 전반적 능력을 비교한 결과는 아님 독립 학습한 인코더를 연결해 COCO 이미지 캡셔닝 CIDEr 0.838을 기록함. 대응 쌍 없이 회전을 찾는 별도 평가에서도 ImageNet-100 상위 5개 정확도 64%로, 비교 대상 언어 모델의 최대 56%를 웃돌았음 관측된 가설에서 조건부 정리로 플라톤적 표현 가설(PRH) 은 모델 규모가 커지면 시각과 언어 등 서로 다른 모달리티의 표현이 현실에 대한 공통 통계 모델로 수렴한다는 가설임 서로 다른 언어에서 독립적으로 학습한 단어 임베딩은 선형 변환이나 회전으로 연결할 수 있었으며, 번역 쌍 없이 회전을 찾아 단어와 문장을 번역한 선행 연구도 있음 기존 PRH의 근거에는 이상화한 대조 학습자의 커널, 확률적 경사 하강법으로 학습한 심층 선형 네트워크, 다국어 모델 내부의 번역 표현 이론 등이 있지만, 실용적인 JEPA 목적함수에 대한 보장과 설계 지침은 부족했음 결합 임베딩 예측 아키텍처(JEPA) 의 양성 쌍이 어떤 세계 상태를 연결하는지에 초점을 맞추면, 서로 다른 모달리티의 학습 문제를 동일한 문제의 좌표계 변환으로 볼 수 있음 같은 장면의 서로 다른 사진이나 설명을 양성 쌍으로 삼는 경우를 좋은 뷰, 한 사진의 크롭이나 한 문장의 마스킹처럼 단일 관측을 변형하는 경우를 나쁜 뷰로 구분함 이론의 대상은 이미지와 텍스트에 한정되지 않으며, 동일한 세계를 관측하는 비디오, 오디오, 행동 등 여러 모달리티를 함께 포함할 수 있음 실험 범위는 Flickr 캡션 14만 5,000개부터 웹 이미지 9억 4,000만 장에 연결된 텍스트까지임 대부분의 비교에서 좋은 뷰가 가장 잘 정렬됐지만, 일부 비교에...