AI에게 투자정보를 말하게 하기까지

안녕하세요, 토스증권 Machine Learning Engineer 정현규입니다.LLM으로 콘텐츠를 만드는 일은 확실히 쉬워졌어요. 뉴스를 요약하고, 공시를 풀어 쓰고, 실적 발표를 자연스러운 문장으로 옮기는 건 이제 몇 줄의 프롬프트로도 어느 정도 됩니다.그런데 그 결과물을 고객이 보는 투자 정보로 내보내려고 하면 질문이 완전히 달라져요.토스증권은 ML과 LLM 기술을 활용하여 금융투자 정보 서비스를 만들고 있어요. 종목·ETF·주요 시장의 움직임을 설명하는 AI 시그널, 지금 시장에서 벌어지는 이벤트가 어떤 산업·기업과 연결되는지 짚어주는 실시간 이슈, 기업 실적 발표를 실시간으로 번역하고 요약하는 어닝콜, 경제 지표와 주요 일정을 정리해주는 AI 증시 캘린더를 만들고 있죠.이 서비스들을 만들면서 공통적으로 마주친 문제가 있었고, 그 문제를 풀다 보니, AI가 말하기 전에 통과해야 할 세 개의 관문을 세우게 됐어요. 이 글은 그 관문에 대한 이야기예요. 모델링 자체보다는, ‘모델이 입을 열기 전과 후에 무슨 일이 일어나야 하는지’에 대한 이야기입니다.투자 정보는 일반적인 요약과 무엇이 다를까요먼저 이 도메인이 왜 까다로운지부터 짚고 갈게요. 네 가지 특징으로 정리할 수 있어요.적시성 (Timeliness). 시장 정보는 타이밍이 전부에 가까워요. 늦게 설명하면 가치가 떨어지는 정도가 아니라, 틀린 정보가 되기도 합니다. 변동성이 큰 국면에서는 오전의 설명과 오후의 설명이 정반대인 순간도 있어요. 지정학 이슈의 휴전 소식 하나로 하루 만에 시장의 해석이 뒤집히는 걸 여러 번 봤습니다.정확성 (Accuracy). 뉴스 기사에 회사 이름이 등장한다고 해서 그 회사의 주가 움직임을 설명하는 근거가 되지는 않아요. 자회사 이야기일 수도 있고, 이름이 비슷한 다른 기업일 수도 있고, 단순 홍보성 기사일 수도 있죠. 이름이 비슷한 기업을 구별하지 못하면 엉뚱한 종목의 주가를 설명하게 됩니다.검증 가능성 (Traceability). 투자 정보는 사용자가 아주 민감하게 받아들이는 정보예요. 그래서 모델이 말한 모든 결과에 대해 근거를 남기고, 평가하고, 문제가 생겼을 때 재현 가능하도록 추적할 수 있어야 해요.비정상성(Non-stationarity). 금융 시장은 늘 같은 데이터 분포로 움직이지 않아요. 실적 시즌, 금리 이벤트, 지정학 이슈, 선거 시즌마다 데이터의 성격이 달라집니다. 똑같은 애널리스트 의견 변경 소식이라...