[기고] AX시대의 아이러니? 지식관리KMS

김학훈 날리지큐브 대표 최근 수년간 수많은 기업이 오픈소스 대규모언어모델(LLM)과 검색 증강 생성(RAG) 기술을 앞세운 인공지능(AI) 솔루션을 다급하게 도입했다. 신생 인공지능전환(AX) 기업들은 “이제 전자결재도, 문서관리도, 지식 관리 시스템(KMS)도 다 필요 없고 AI 하나면 된다”고 호기롭게 시작했다. 그러나 지금, 현장에선 블랙박스 같은 AI의 엉뚱한 답변, 끝없는 튜닝 작업, 떨어지는 품질 만족도 속에서 도입을 시도한 기업들과 공공기관들이 적잖이 당황하며 최근 공통적으로 내뱉는 몇마디가 있다. “블랙박스들을 가지고 이리저리 튜닝하고 에이전트 만들고 백방의 노력을 했는데, 정확도, 환각(할루시네이션), 만족도, 각종 학습 비용과 시간 등 난제들이 쌓이다 보니 밤을 새워도 해결할 수가 없네!” 지난 10여년간 기업 정보기술(IT)의 트렌드는 '문서 중앙화'였다. 모든 자료를 한곳에 끌어모아 보관하면 언제든 찾아 쓸 수 있으니 지식 자산의 축적에는 꽤 효과가 있었다. 그런데 대한민국 대표 모 대기업의 경우 6년간 구글 워크스페이스(GWS)를 도입해 중앙문서저장소(구글 드라이브)에 무려 6억건이 넘는 문서 지식을 쌓았다. 문제는 본격적인 AX를 추진하면서 발생했다. 6억건의 데이터 중복, 최신성을 알 수 없는 가비지 데이터, 정제되지 않은 문서들이 AX 추진의 발목을 잡았다. 학습 비용은 천문학적으로 치솟고, 처리 시간은 지연됐으며, LLM의 정확도는 기대 이하였다. 글로벌 빅테크와 빅데이터 전문 기업들조차 혀를 내두르던 이 난제는, 결국 데이터를 단순히 '쌓아놓는 것'이 아니라 '지식화'하는 데이터·지식 정제 구조화 및 거버넌스 체계(DCS)를 거치고 나서야 비로소 해결될 수 있었다. 문서 중앙화라는 과거의 유산이 지식 거버넌스 없이 AI 시대를 맞이했을 때 거대한 '허들'이 되는 아이러니한 일이다. 어찌 보면 AI 추진 과정에서 게임 그래픽 처리용이던 엔비디아가 부상하고, 이후 멀티턴 연산의 필요성으로 삼성·SK하이닉스가 연이어 부상된 뜻밖의 나비효과가 떠오르게 하는 현상이다. 자체 LLM을 기반으로 전사 AX를 추진하던 대기업 역시 비슷한 진통을 겪었다. 도입 첫해에는 기존 KMS 내 지식은행 데이터를 API 형태로 단순히 'AI에 쏴달라'고 요청했다. 그러나 KMS외의 각각의 레거시시스템들에서 취합된 문서들을 처리하는 방식은 곧 한계에 봉착했다. 한 번의 깊은 고초를 겪은 후, 그들은 표준화·...