이커머스, 빅테크, 증권사도 'AI를 잘 썼는가' 묻기 시작한 기업들

임직원의 AI 활용 역량을 객관적 지표로 확인할 수 있는 AISA. 사진=구름 생성형 AI가 업무 도구로 자리 잡으면서 기업들의 채용·역량 평가 방식도 달라지고 있다. 최근 국내 한 증권사가 진행한 사내 역량 평가에서 흥미로운 데이터가 나왔다. 고득점자는 질문 한 번에 평균 200토큰만 사용하고도 12~14점을 받아 토큰당 약 0.07점의 효율을 기록한 반면, 저득점자는 최대 8,966토큰을 쓰고도 토큰당 0.014점에 그쳤다. 효율로 따지면 약 5배 차이다. AI를 '얼마나 많이' 썼는지가 아니라 '얼마나 잘' 썼는지가 성과를 갈랐다는 뜻이다. 이 결과는 하나의 증권사에 국한된 이야기가 아니다. 이커머스, 빅테크, 금융까지 업종을 가리지 않고 기업들이 채용과 역량 평가 방식을 AI 시대에 맞춰 재설계하고 있다. 각 업계는 저마다 다른 문제의식에서 출발했지만, 결국 같은 질문에 도달하고 있다 — AI 활용 역량을 어떻게 공정하고 객관적으로 검증할 것인가. ◇ 증권가: “AI를 많이 쓴 사람”이 아니라 “AI를 잘 쓴 사람” 찾기 이 증권사는 AI 활용 능력을 정량적으로 측정하고, 금융 실무에 최적화된 평가 체계를 구축할 필요성에 따라 구름의 AI 활용 역량 평가 서비스 'AISA'를 도입했다. ChatGPT, Claude 등 최신 생성형 AI 모델을 평가 환경에 통합해 실제 업무 상황에서의 AI 활용 능력을 측정하고, 6가지 항목의 평가 기준과 함께 프롬프트·응답 기록, 레이더 차트, AI 사용 패턴 분석이 담긴 리포트를 제공받았다. 분석 결과 고득점자와 저득점자의 행동 패턴은 뚜렷하게 갈렸다. 고득점자는 구조화된 접근으로 질문을 설계하고, 답변을 검증하며 피드백을 반영하는 전략적 패턴을 보였다. 반면 저득점자는 맥락 없이 반복적으로 정답을 요구하거나, 검증 없이 AI의 답변을 그대로 수용하고, 실패하면 시도를 포기하는 패턴을 보였다. 프롬프트 기록을 분석함으로써 'AI를 많이 쓴 사람'이 아닌 'AI를 잘 쓴 사람'을 객관적으로 식별할 수 있다는 것이 이번 사례가 보여준 핵심이다. ◇ 빅테크: 코드 작성을 넘어 “AI와 협업하는 역량”을 본다 국내 대표 IT 기업은 하계 인턴십 프로덕트 테크 트랙 채용에 구름의 코딩테스트 플랫폼 'Devth'와 AI 활용 역량 평가 'AISA'를 함께 도입했다. 총 535명이 온라인으로 응시했으며, 허용된 도구 외 외부 프로그램 사용을 차단하는 설치형 평가 환경 'Devth ...