AI로 E2E 회귀 테스트 자동화하기: ‘딸깍’을 파이프라인으로 바꾸기까지

들어가며 안녕하세요. LINE Plus에서 대만 Giftshop 서비스 QA를 담당하고 있는 김혜영입니다. 최근 AI를 테스트 자동화에 활용하려는 다양한 시도와 실제 적용 사례를 접하면서, 자동화 구축 비용과 유지보수 부담으로 쉽게 시작하지 못했던 대만 Giftshop 셀러 센터의 E2E(End-to-End) 회귀 테스트(regression test) 자동화에도 AI를 적용해 볼 수 있겠다고 생각했습니다. 처음에는 기대가 컸습니다. 이미 문서로 정리된 자동화 테스트 케이스를 AI에 넘기면 Playwright 테스트 코드가 빠르게 생성되고, 몇 번의 보정만 거치면 자동화가 완성될 것이라 생각했습니다. 하지만 실제 서비스에 적용해 보니 병목은 코드 생성이 아니었습니다. 더 어려운 문제는 통과한 테스트가 정말 제가 의도한 것을 검증했는지 확인하는 일이었습니다. AI는 코드를 빠르게 만들었지만 모호한 상황에서도 스스로 답을 정했고, 그 결과 테스트는 통과했지만 엉뚱한 내용을 검증하는 경우가 생겼습니다. 이 문제를 해결하기 위해 코드 생성뿐 아니라 검증과 리뷰까지 포함한 파이프라인을 구축했습니다. 그 결과 기존 수동 회귀 테스트 98개를 모두 자동화하고, 테스트 범위도 196개로 약 두 배 확대했습니다. 파이프라인 완성 후 실제 테스트 코드 구축에는 약 한 달이 걸렸습니다. 이 글에서는 처음 기대했던 ‘딸깍’ 자동화가 왜 어려웠는지, 그리고 그 시행착오를 거쳐 테스트 코드 생성부터 검증과 리뷰까지 이어지는 파이프라인을 어떻게 구축했는지 소개합니다. 코드 생성 중심으로 시작한 파이프라인 v1.0 대만 Giftshop은 구매자용 서비스와 판매자용 셀러 센터로 나뉩니다. 구매자용 서비스에서는 이미 회귀 테스트 자동화를 안정적으로 운영하고 있었지만, 사람이 직접 코드를 작성하고 다듬어 구축한 결과였습니다. 셀러 센터에서도 같은 방식을 반복하기에는 투입해야 할 비용과 시간이 컸고, 자동화의 필요성을 알면서도 우선순위에 밀려 오랫동안 시작하지 못했습니다. 회귀 테스트는 서비스에 새로운 기능이 추가되거나 기존 기능이 변경된 뒤, 이전에 정상적으로 동작하던 기능에 문제가 생기지 않았는지 확인하는 테스트입니다. 서비스가 변경될 때마다 같은 범위를 반복해서 확인해야 하기 때문에 셀러 센터에서도 자동화했을 때 얻을 수 있는 효과가 컸습니다. 처음에는 사람이 거의 개입하지 않아도 자동화 테스트 케이스만 넘기면 의도에 맞는 테스트 코드를 빠르...