비드래프트 논문 하나가 만든 삼단 구조…연구·AX-RAY·국가 보안 AI

5 days ago 10

비드래프트. 사진=비드래프트 논문 한 편에서 시작된 연구 성과가 제품을 거쳐 국가 사업으로 이어지는 구조가 만들어졌다. AI 딥테크 기업 비드래프트(대표 김민식)가 공개 AI 모델의 구조적 결함을 찾아낸 자체 연구를 AI 안전성 진단 시스템 'AX-RAY'로 발전시키고, 이를 정부의 '사이버 보안 특화 인공지능 파운데이션 모델 개발' 사업 핵심 검증 기술로 제시하는 전략을 펴고 있다. 출발점은 비드래프트가 지난 24일 arXiv에 공개한 논문 'The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models'다. 연구진은 자기회귀 AI 모델이 원칙적으로 볼 수 없는 미래 토큰의 정보를 앞선 계산에 사용하는 '인과 누설'을 직접 판정하는 새로운 진단 방법을 제시했고, 이를 엔비디아의 Nemotron-H-8B와 자이프라의 Zamba2-1.2B에 적용해 두 모델의 PyTorch 실행 경로에서 실제 인과 누설을 확인했다. 기존 검사 방식은 어텐션의 causal mask 정상 여부 확인에 주로 의존해왔지만, 최근 모델이 상태공간모델(SSM)·순환연산·합성곱·청크 스캔 등을 결합한 하이브리드 구조로 발전하면서 마스크가 정상이어도 다른 경로로 미래 정보가 유입될 가능성이 생겼다는 게 연구진의 지적이다. 새 방법은 마지막 위치만 다른 두 입력을 각각 한 번씩 순전파해 각 층의 앞부분 내부 표현 변화를 비교하는 방식으로, 학습이나 그래디언트 계산 없이 순전파 두 번만으로 인과성이 깨지는 층을 특정할 수 있다. 인위적으로 주입한 인과 결함 192건 실험에서 기존 마스크 점검은 이를 놓쳤지만, 새 방법은 192건 전부를 정확한 층 단위로 탐지해냈다. 비드래프트. 사진=비드래프트 연구는 여기서 멈추지 않았다. 비드래프트는 오픈소스 라이브러리 transformers 5.7.0의 청크 스캔 구현을 코드 수준에서 비교해 입력·출력 청크 축 처리 방식의 차이를 먼저 짚어냈고, 실제 모델 검사에서 Zamba2-1.2B는 청크 크기 256부터, Nemotron-H-8B는 128부터 누설이 시작됨을 확인했다. Bamba-9B, Falcon-H1, Granite-4.0-H, Mamba2, RecurrentGemma 등에서는 같은 문제가 나타나지 않아 코드 분석 예측과 실제 결과가 정확히 맞아떨어졌다. 이 발견이 중요한 ...

Read Entire Article