Next-Concept Modeling: 거친 표현부터 세밀하게 다듬는 빠른 병렬 텍스트 생성

Next-Concept Modeling(NCM) 은 텍스트를 여러 해상도의 이산 코드로 압축한 뒤, 단계별 코드를 병렬 생성하는 2단계 프레임워크임 확산 언어 모델(DLM) 이 매 단계 전체 시퀀스를 처리하는 것과 달리, 초기 단계에서는 짧은 코드 시퀀스만 처리해 생성 단계 수와 단계당 연산량을 함께 줄임 비슷한 파라미터 규모에서 가장 강력한 DLM 기준 모델과 비교해, LM1B에서는 더 나은 생성 퍼플렉시티로 21배, XSum에서는 동등한 ROUGE-L로 31배 빠르게 생성함 무조건부 생성에서 데이터에 가까운 표본 엔트로피를 유지하면서 함수 평가 횟수를 약 4~11배 줄였으며, Sudoku에서는 모든 난이도에서 자기회귀 및 확산 기준 모델을 능가함 LM1B와 OpenWebText에서 토크나이저 학습까지 포함해 약 4~5배 적은 학습 토큰으로 경쟁력 있는 품질을 달성했으며, 절약한 생성 시간을 후보 선택에 활용하면 요약 품질도 높일 수 있음 확산 언어 모델의 병렬 생성이 남긴 비용 확산 언어 모델(DLM) 은 반복적인 잡음 제거 과정에서 여러 토큰을 동시에 생성하므로, 토큰을 하나씩 생성하는 자기회귀 모델보다 생성 속도를 높일 수 있음 언어 모델 추론이 주요 연산 작업으로 자리 잡으면서 이러한 병렬성의 중요성이 커짐 LLaDA는 수십억 파라미터 규모로 확장됐고, Mercury와 DiffusionGemma는 확산 모델을 실제 서비스에 사용하며, DFlash 같은 확산 초안 모델은 추측 디코딩으로 자기회귀 모델을 가속함 실제 속도 향상에는 세 가지 제약이 있음 잡음 제거 단계를 줄이면 생성 품질이 크게 떨어질 수 있음 매 단계 전체 시퀀스를 처리하며, 양방향 어텐션 때문에 자기회귀 방식의 KV 캐시를 그대로 재사용하기 어려움 같은 데이터를 여러 번 학습해야 하며, DUO와 MDLM 같은 강력한 기준 모델은 OpenWebText에서 100만 단계 동안 5,000억 개 이상의 토큰을 처리함 증류와 흐름 매핑(flow-map) 은 여러 단계의 교사 모델을 소수 단계 학생 모델로 옮기거나 잡음 수준 사이의 직접적인 매핑을 학습하지만, 추가 학습이 필요하고 단계당 전체 시퀀스 처리 비용은 남음 증류된 모델은 원래 모델보다 표본 다양성이 낮아지는 경향이 있음 OpenWebText와 LM1B에서는 생성 퍼플렉시티 개선이 표본별 유니그램 엔트로피로 측정한 다양성 감소를 동반함 블록 자기회귀 확산은 KV 캐시를 지원하지만 블록 간...