‘AI 고수 vs 하수’ 가른 차이는 이것[김현지의 with AI]

18 hours ago 3

같은 내비게이션을 켜도 베테랑 택시기사는 막히는 길을 요령껏 피해가고 초보 운전자는 막다른 골목에 갇힌다. 인공지능(AI)이라는 최첨단 내비게이션을 쥐여줬을 때도 비슷한 일이 벌어지는 것으로 나타났다.

미국 AI 개발사인 앤스로픽이 지난달 16일(현지시간) 발표한 ‘에이전틱 코딩 시대에도 지속되는 전문성의 가치(Agentic coding and persistent returns to expertise)’ 보고서에 따르면 도메인 전문가는 일이 막혔을 때 어디서 막혔는지 파악하고 AI에게 보완을 요구함으로써 프로젝트를 성공으로 이끄는 반면 도메인 비전문가의 경우 뭐가 뭔지 파악하지 못한 채 일을 포기하는 경우가 더 많은 것으로 조사됐다. 도메인 전문가와 비전문가는 코딩 실력이 아니라 해당 분야에 대한 이해도에 따른 구분이다.

이는 앤스로픽 연구팀이 2025년 10월부터 6개월 동안 에이전틱 코딩 도구인 ‘클로드코드’에 생성된 40만 건의 세션을 분석해 나온 결과다. 연구팀은 AI에 지시할 때 얼마나 구체적으로 하는지, AI에게 무엇을 검증해 달라고 요청하는 지 등의 기준을 세워 초보부터 전문가까지 다섯 단계로 분류한 후 연구를 진행했다.

연구팀에 따르면 한 세션에서 드러나는 전문성이 높을수록 세션이 성공할 가능성도 높았다. 좀더 구체적으로, 사용자가 초보자로 평가된 세션이 업무 수행 성공(부분적 성공 포함)에 도달한 비율이 77%인 반면 중급 이상으로 평가된 세션의 업무 수행 성공률은 91~92%까지 올라갔다.

작업 도중 어려움에 부딪힌 세션에서도 비슷한 경향이 나타났다. 사용자가 초보자로 평가된 세션이 성공으로 끝난 비율은 4%에 불과했지만 전문가 평가 세션에서는 15%로 높아졌다. 세션을 포기한 비율은 초보자 세션에서는 19%인 반면 중급 이상의 세션에서는 5~7%에 그쳤다. 연구팀은 “가장 경험이 적은 사용자는 어려움을 겪을 때 더 쉽게 포기하는 경향이 있었다”며 “전문성의 가치는 에이전트를 올바른 방향으로 이끄는 능력에 있는 듯하다”고 분석했다.

작업 도중 어려움에 부딪힌 세션(왼쪽 그래프)에서 프로젝트 성공률(엄격한 기준)은 초보자 집단이 4%에 그친 반면 전문가 집단은 15%로 높았다. 세션을 포기한 비율의 경우 초보자 집단은 19%였지만 전문가 집단은 7%에 그쳤다.

이런 차이는 사람과 AI의 협업 방식 자체에서도 드러난다. 연구팀이 세션 속 결정을 ‘계획(무엇을 어떤 방식으로 할지)’과 ‘실행(어떤 파일을 어떻게 바꿀지)’으로 나눠 분석한 결과, 사람은 평균적으로 계획의 약 70%를 결정하고 실행은 20%만 결정했다. 사람이 큰 방향을 잡으면 클로드가 세부 구현을 맡는 구조인 셈이다.

전문가들은 이 구조 안에서 한 번의 지시로 클로드가 더 많은 작업을 수행하도록 이끌 수 있었다. 초보자 세션에서는 사용자가 프롬프트를 한 번 쓸 때마다 클로드는 약 5개의 작업을 실행하고 약 600단어를 출력했지만 전문가 세션에서는 그보다 두 배 이상 긴 약 12개의 작업을 실행하고 약 3200단어를 출력했다.

연구팀은 “클로드코드로 성과를 내는 데는 코드를 얼마나 잘 짜느냐보다 무엇을 만들어야 하는지, 어떤 일을 AI에게 시킬지, 결과가 맞는지 판단하는 능력이 더 크게 작용함을 보여주는 결과”라며 AI를 성공으로 사용하는 데는 코딩 기술보다는 특정 분야를 얼마나 잘 이해하느냐가 더 유의미하다고 결론 내렸다.

김현지 기자 nuk@donga.com