표적 뇌 영역을 최대로 활성화하도록 진화하는 AI 영상

• NEvo는 시각 영역의 반응을 예측하는 뇌 디지털 트윈을 보상 모델로 삼아, 특정 영역의 예측 활성도를 극대화하는 영상을 인실리코(in silico) 환경에서 진화시킴
• 피사체·조명·움직임·분위기를 유전자처럼 표현하고, 후보 영상의 생성·평가·선택·교차·변이를 여러 세대에 걸쳐 반복함
• 계산 비용을 줄이기 위해 가장 강한 정지 이미지를 먼저 찾은 뒤 움직임을 별도로 탐색해 2초 영상으로 만드는 2단계 방식을 사용함
• 합성 영상은 FFA의 얼굴, PPA의 장소, MT의 움직임처럼 알려진 영역별 선택성과 일치했으며, 수작업 로컬라이저 영상과 최상위 자연 영상보다 높은 활성도를 기록함
• V1에서 aSTS로 이어지는 외측 시각 경로를 따라 선호 자극이 단순 패턴·움직임에서 사람·얼굴·사회적 상호작용으로 이동하며, 사회적·동적 특징이 점차 강해짐

디지털 트윈을 보상으로 사용하는 영상 진화

• 뇌의 인코딩 모델인 디지털 트윈을 학습시켜 임의의 영상에 대한 각 시각 영역의 반응을 예측하고, 선택한 영역의 예측 반응을 NEvo의 보상으로 사용함
• 각 영상은 피사체·조명·움직임·분위기 등 소수의 유전자로 기술됨
  • 후보 영상 배치를 생성한 뒤 디지털 트윈으로 점수를 계산함
  • 높은 점수를 받은 후보를 유지하고 교차·변이함
  • 이 과정을 여러 세대 반복해 예측 활성도를 끌어올림
• 이미지와 영상을 동시에 탐색하는 비용을 피하고자 2단계 탐색을 수행함
  • 먼저 가장 강한 단일 정지 이미지를 찾음
  • 이어 움직임을 탐색해 해당 이미지를 2초 영상으로 애니메이션화함
• 피질 표면의 표준 관심 영역(ROI)과 촘촘한 searchlight 영역별로 자극을 합성함
  • PPA 예시는 점수 0.767로 자연 이미지 대비 100.0 백분위에 해당함
  • rh_5 searchlight 예시는 점수 1.124로 자연 이미지 대비 100.0 백분위에 해당함

영역별 선택성과 외측 시각 경로의 변화

• 각 영역을 위해 합성한 2초 영상은 해당 영역이 선호한다고 알려진 자극과 부합함
  • FFA는 얼굴, PPA는 장소, EBA는 신체에 반응함
  • MT는 움직임을, V1·V3A는 패턴을 선호함
  • pSTS·aSTS는 활기찬 사회적 장면에 반응함
• NEvo 영상은 영역 전반에서 수작업 로컬라이저 영상과 가장 강한 자연 영상보다 높은 활성도를 유도함
• 모든 영역에서 움직이는 영상이 같은 영상의 고정된 첫 프레임보다 높은 반응을 보여 동적 자극에 대한 선호가 확인됨
• V1에서 aSTS 방향으로 searchlight를 이동하면 합성 자극과 자동 생성 단어 구름이 단순한 패턴·움직임에서 사람·얼굴·사회적 상호작용으로 바뀜
  • 외측 시각 경로를 따라 사회적·동적 특징이 점차 증가하는 기울기가 나타남
• 추상적인 적층 원반에서 시작한 실험에서도 영역별 선호 특징이 분리됨
  • pSTS 최적화는 얼굴처럼 보이며 상호작용하는 캐릭터를 만들어냄
  • MT 최적화는 순수한 움직임을 생성함