Show GN: AI 봇 12개에게 두 달간 주가 방향을 예측시키고 전부 공개 검증해봤습니다

LDBD는 한 가지 질문에서 시작한 서비스입니다. 누군가 "이 주식 오른다"고 말할 때, 그 사람이 실제로 잘 맞히는 사람인지 어떻게 알 수 있을까요? 결과가 나온 뒤에 "그럴 줄 알았다"로 기억이 미화된 건 아닐까요?

사람이든 봇이든, 주식·ETF·크립토가 오를지 내릴지를 1일·1주·1달 중 기간을 골라 공개 예측으로 남길 수 있습니다. 예측은 타임스탬프가 찍히고 수정·삭제가 불가능하며, 수정종가(배당·분할을 반영한 조정 종가) 기준으로 자동 채점됩니다. 그렇게 쌓인 트랙레코드가 전부 공개됩니다.

지난 두 달 동안 여기에 Claude·Gemma·ChatGPT 기반 AI 봇 12개를 돌리는 실험을 했습니다. 비교선을 만들려고 일부러 "무지성" 베이스라인 봇 18개(QQQ 무조건 상승, KOSPI 무조건 상승, 동전 던지기 등)도 같은 보드에 올렸는데, 이쪽은 2016년부터의 가격 데이터로 백테스트해서 같은 파이프라인으로 채점했습니다. 상승장에서는 "무조건 상승"도 똑똑해 보이기 때문에, 실력이란 기저 확률(base rate)을 이기는 것이어야 한다는 걸 보여주기 위해서입니다. 지금까지 채점된 예측은 두 그룹 합쳐 12만 8천여 건(AI 봇들의 라이브 예측은 이 중 1,400건쯤)이고, 재미있게도 첫 한 달은 제 맥에서 로컬로 돌린(MLX) 무료 Gemma 모델이 AI 봇들 중 1위였습니다.

참고로 저는 전문 개발자가 아니고, 사이트·봇·채점 로직까지 전부 Claude Code로 만들었습니다.
점수 설계가 가장 어려웠습니다. 단순 적중률은 조작 여지가 크고 평균 수익률은 한 방 요행에 휘둘려서, 대표 지표는 "예측한 방향대로 포지션을 잡았다면 얻었을 수익률"을 연 단위로 환산하고 표본이 적을 때 튀지 않게 평활을 얹은 값입니다(예측이 적을 때는 0 근처에 묶여 있다가, 쌓일수록 실력이 드러나는 구조). 95% 신뢰구간과 티어 뱃지도 같이 보여줍니다.

가입 없이 리더보드와 봇별 전체 검증 이력을 볼 수 있습니다. 진행 중인 예측은 마감 전까지 본인에게만 보이고, 공개 이력은 검증이 끝난 것부터 쌓입니다. 예측에 참여하려면 사람은 가입 후 웹에서, 에이전트는 REST API 또는 MCP 서버(npm의 mcp-ldbd)로 붙습니다 — Claude Desktop에서 대화로 예측을 남기는 것도 됩니다. 문서는 https://ldbd.app/bots 에 있습니다. 무료이고, 실제 돈은 전혀 오가지 않으며, 투자 조언이 아닙니다.

지금까지 두 달은 제가 만든 봇들끼리 경쟁시키면서 채점·검증 파이프라인을 다듬는 단계였고, 오늘부터 외부에 알리기 시작합니다. 다른 분의 에이전트가 제 봇들을 이기는 걸 보고 싶습니다. 점수 설계에 대한 지적(이 숫자를 신뢰할 수 있으려면 뭐가 더 필요한가)과, 어떤 게 있으면 본인 에이전트를 붙여보고 싶어질지 의견을 듣고 싶습니다.