한 번 성공하니 다음도 쉬울 줄 알았다: 최소주문금액바 4번의 A/B실험

2024년 10월, 배달의민족 장보기·쇼핑 서비스에 ‘최소주문금액바’라는 스낵바 형태의 UI를 도입했습니다.

퀵커머스는 빠른 배달이 강점이지만, 그만큼 배달 비용도 높습니다. 라이더가 한 번에 배달할 수 있는 주문 수가 제한적이기 때문입니다. 그래서 퀵커머스 서비스에는 일정 금액 이상 주문해야 하는 ‘최소주문금액’이 존재합니다. 최소주문금액바는 고객이 이 기준까지 얼마나 남았는지를 쉽게 알 수 있도록 만든 기능이었어요.

우리의 목표는 명확했습니다.

“최소주문금액을 못 채워서 이탈하는 고객을 줄여보자.”

탐색 과정에서 최소주문금액 달성 여부를 쉽게 인지할 수 있으면 이 제약 조건으로 인한 이탈이 줄어들 거라고 판단했습니다. 가설은 명중했어요. 커머스 전체 주문전환율 상승이라는 뚜렷한 성과를 거두었거든요. 신규 기능의 첫 실험으로는 더할 나위 없이 좋은 결과였어요. 하지만… 첫 실험 성공이 다음 실험들로 쉽게 이어지지는 않았습니다. 첫 성공이 너무 커서였을까요? “한 번 됐으니까 다음에도 최소주문금액바를 활용하면 비슷한 효과가 나올 것이다”라는 자신감으로 진행한 이후 실험들에서는 기대만큼의 성과가 나오지 않았어요.

이 글은 ‘최소주문금액바’라는 하나의 장치를 Phase 4까지 개선해 나간 기록이자 실험 결과 앞에서 도파민이 터지기도 우울해지기도 했던 PM의 고군분투기예요. 실험의 기쁨과 슬픔, 배운 점을 가감 없이 나눠보고 싶었어요.

서비스를 고도화하는 데 필수적인 A/B 실험(사용자를 두 그룹으로 나눠 서로 다른 버전을 보여주고 어느 쪽이 더 나은 결과를 내는지 비교하는 실험), 여러분은 어떻게 바라보고 계시나요? 어떤 실험이 성공한 실험이고, 실험을 통해 우리는 무엇을 얻어야 할까요? 그리고 AI가 데이터 분석을 점점 더 잘해주는 시대에 PM의 실험 설계와 분석은 여전히 의미가 있을까요? 이 글이 그 답을 함께 찾아나가는 동료 같은 글이 되기를 바랍니다.

 
탐색 중에 최소주문금액 달성 여부를 미리 알려주면 장바구니 이탈률이 감소할 것이다.
 

최소주문금액바를 도입하기 전, 그 당시 사용자 플로우입니다.

사용자가 최소주문금액을 채웠는지 확인하려면 장바구니 지면까지 들어가야 했어요. 여기저기 둘러보면서 “내가 주문 가능한 만큼 담았나?”가 궁금하면 장바구니로 이동해서 상태를 확인하고, 부족하면 다시 돌아가서 더 담고… 이동 동선이 복잡했기 때문에 구매 의지가 낮은 고객은 이 과정에서 이탈하기 쉬운 구조였어요. 고객이 탐색 과정에서 겪는 이러한 불편함을 캐치해서 최대한 심리스(Seamless)하게 주문으로 이어지게 하기 위한 가설을 세웠습니다.

Phase 1 실험 가설

문제 정의와 가설이 명확했음에도 정작 프로젝트 시작이 쉽지는 않았어요. 처음부터 이 과제가 큰 공감대를 얻은 것은 아니었거든요. 이미 현재 동선에 익숙해진 탓인지 장바구니 지면을 오가는 게 그다지 불편하지 않다, 작은 컴포넌트 하나 추가하는 일이라 임팩트가 작아 보인다는 의견도 있었어요. 하지만 저는 작은 범위라도 꼭 검증해 보고 싶었습니다. 고객이 느끼는 불편함을 해소해 주면 확실한 개선이 있을 거라고 생각했거든요. 그래서 첫 실험에서는 OS는 안드로이드만, 지면은 가게홈 지면만으로 한정 지어 작게 시작하기로 했습니다.

첫 성과와 레슨런

최소주문금액바를 도입한 후 사용자 동선이 이렇게 바뀌었습니다.

"내가 주문 가능한 만큼 담았나?"를 확인하려고 장바구니 지면과 탐색 지면을 오갈 필요가 없어졌어요. 주문 가능한 상태가 된 걸 확인하고 주문 의사가 있을 때 장바구니로 진입하게 되니 자연스럽게 주문으로 이어지는 비율이 높아진 거예요. 결과적으로 절반의 리소스로 한 지면에만 적용했는데도 뚜렷한 성과가 나왔습니다.

• 메인 지표: 장바구니 이탈률 (장바구니 담은 고객 중 미주문 고객 비율) 감소
• 가드레일 지표: 커머스 전체 주문전환율 상승

상황이 충분하지 않다고 미루거나 포기했다면 최소주문금액바 실험은 이어지지 못했을지도 몰라요. 조직 내 리소스 상황이나 우선순위는 변동성이 있기 마련이고 해야 할 일은 언제나 많으니까요. 상황이 갖춰지지 않더라도 작게라도 빠르게 검증해 보는 것이 다음 스텝을 결정하는 데 도움이 되더라고요. 작게 검증했을 때 가능성이 보이지 않는다면 깔끔히 정리하고 다른 방향을 모색하는 것이 서비스에도 좋은 일이에요. 하지만 다행히도 Phase 1을 통해 최소주문금액바가 커머스 전체 주문전환율을 견인할 수 있는 장치라는 가능성이 드러났어요. 작은 시도가 결국 커머스 전반의 흐름을 만들 수 있다는 사실을 실감했고, 이 장치의 영향 범위를 넓혀가기로 결정했습니다.

 
Phase1과 같은 효과가 전 지면, 전 OS에서도 재현되어 전체 주문전환율을 견인할 것이다.
 

Phase 1의 성공 덕에 최소주문금액바를 커머스 전체 지면으로 확장할 수 있었습니다. 각 유관부서에서도 Phase 1 때보다 훨씬 적극적으로 협업해 주셨어요. 이번에도 결과는 가설대로 입증되었어요. 전 지면, 전 OS로 확대한 후에도 장바구니 이탈률은 감소했고, 주문전환율이 상승했어요. 오히려 전 지면으로 확장하면서 전체 탐색 동선을 따라다니며 주문 관련 정보를 알려줄 수 있게 되었기 때문에, “탐색 단계에서 최소주문금액 달성 여부를 알려주면 전환이 오른다”라는 가설이 좀 더 명확히 검증되었어요.

Phase 2 실험 가설

보조 지표를 통한 두 가지 발견

그런데 분석 과정에서 한 가지가 마음에 걸렸습니다. 주문전환율은 올랐는데, GMV(Gross Merchandise Value, 거래액) Impact가 나오지 않았어요. 커머스 전체 주문전환율을 향상시켰기 때문에 거래액 증가도 따라올 거라고 생각했는데, 결과는 그렇지가 않았어요.

어떻게 그럴 수 있지? 더 들여다보니, 주문전환율은 올랐지만 평균주문금액(주문 한 건당 평균 결제 금액)이 소폭 떨어졌습니다. 가능한 가설들을 고민하다 보니 한 가지로 좁혀지더라고요. “허들을 명확히 알려주니까 사용자가 딱 그 허들에 맞춰서 담는다.” 우리가 친절하게 제공한 정보의 정확성이 오히려 평균주문금액의 천장으로 작동하고 있었던 거예요.

추가로 혜택 대상자에 대한 지표도 살펴봤었는데요, 이 보조 지표가 다음 실험 설계의 발판이 되었습니다.

“일반 고객보다 최소주문금액이나 무료배달 허들이 더 낮은 혜택 대상자에게 관련 문구로 안내를 했을 때, 이것이 얼마나 효과가 있을까?”

결과가 흥미로웠어요.

첫 주문 혜택 고객(커머스 내 주문 이력이 없는 고객)에게 혜택 문구를 노출했을 때 최소주문금액바 클릭률은 일반 고객 대비 올라갔어요. 확실히 이 문구 덕에 관심을 끌 수 있다는 걸 확인했습니다. 그런데 문제는 장바구니 이탈률도 함께 올라갔어요. 관심은 끌었지만 실제 주문으로 이어지지는 않았던 거죠.

멤버십 혜택 고객(멤버십을 구독한 만큼 상대적으로 구매 의사가 높은 고객)에게 같은 혜택 문구를 노출하자 양상이 정반대였어요. 미주문 고객보다 증가율이 높진 않았지만 일반 고객 대비 최소주문금액바 클릭률은 역시나 올라갔어요. 첫 주문 고객과 달리 멤버십 회원은 장바구니 이탈률 감소라는 긍정적인 효과도 확인되었어요. 혜택 문구를 통한 후킹이 실질적인 주문전환으로 이어진 거예요.

비슷한 무료배달 관련 혜택 문구인데, 누구에게 노출됐느냐에 따라 결과가 정반대로 나왔어요. 혜택 안내가 구매 의사가 있는 사용자에게 더 실질적인 주문전환으로 이어진다는 걸 보조 지표에서 확인할 수 있었습니다.

두 번째 실험을 통한 레슨런

1.불편함을 해소하면 주문전환은 자연스럽게 따라온다.

Phase 1, Phase 2를 통틀어 가장 명확한 결론이었어요. ‘탐색-주문 사이의 불편함을 해소하면 주문 전환이 높아질 것이다’는 가설이 두 번 연속 검증되었고, 이를 통해 최소주문금액바의 본질은 ‘고객 불편 해소 도구’라는 걸 분명히 알 수 있었습니다.

2.메인 지표만큼이나 보조 지표가 중요하다.

실험 가설 검증 여부를 판단하는 건 메인 지표지만, 보조 지표를 자세히 분석할수록 고객의 행동 패턴을 더 잘 이해할 수 있습니다. ‘평균주문금액이 왜 떨어졌는가’, ‘혜택 문구가 그룹별로 왜 다르게 작동했는가’ 이런 질문들은 보조 지표를 분석하는 과정에서 나왔고, 답을 찾아가는 과정에서 다음 실험의 새로운 가설을 도출할 수 있었어요. 메인 지표만 보고 “실험 가설이 검증되었으니 성공한 실험이네”라며 자축으로 끝냈다면 Phase 3의 새로운 방향성은 나오지 않았을 거예요.

그렇게 ‘평균주문금액의 천장’과 ‘혜택 노출의 그룹별 효과’라는 두 발견을 안고 세 번째 실험으로 향했어요. 솔직히 이때까지만 해도 자신 있었거든요. Phase 1, 2를 통해 검증했고, 최소주문금액바는 주문 전환에 효과적인 장치가 확실하니 가설을 다듬어서 새 실험을 하면 Phase 3도 성공할 거라는 확신이 있었어요.

그런데… 그렇지 않더라고요.

 
혜택 문구와 업셀링 넛지 문구를 노출하면 주문전환율 및 평균주문금액이 오를 것이다.
※ 넛지(Nudge): 선택을 강제하지 않고 슬쩍 유도해 사용자가 특정 행동(여기서는 추가 담기)을 하도록 이끄는 설계
 

실험을 두 차례 성공적으로 진행한 다음이라 자신감이 붙었어요. 그런데 반대로 갈증도 있었습니다. 주문전환율 개선 효과는 두 번이나 확인했지만 기대했던 만큼의 거래액 증가 효과는 만들어내지 못했기 때문입니다. “조금만 더 건드려 보면 더 큰 성과를 낼 수 있을 것 같은데… 어떤 레버를 건드려야 할까?”라는 질문이 머릿속을 떠나지 않았어요.

자연스럽게 떠오른 가설은 이거였어요.

“부족한 금액을 알려주는 데서 끝내지 말고, ‘얼마 더 담으면 어떤 혜택을 받을 수 있는지’까지 알려주면 어떨까? 그러면 평균주문금액도 함께 올릴 수 있지 않을까?”

그래서 세 번째 실험은 ‘고객이 혜택을 체감하게 하자’는 방향으로 설계했어요.

Phase 3 실험 가설

※ Phase1,2에서는 ‘장바구니 이탈률’을 메인 지표로 설정했으나, Phase3부터는 보다 적극적으로 주문 전환을 유도하고자 메인 지표를 커머스 전체 주문전환율로 설정하였습니다.

혜택 정보의 통합

Phase 3의 핵심은 ‘혜택 정보의 노출’이었어요. 막상 검토하다 보니 생각보다 큰 작업이더라고요. 이미 커머스에는 타임키퍼(정해진 시간 안에만 받을 수 있는 한정 혜택), 첫주문 무료배달, 쿠폰 혜택 안내 장치, 무료배달 조건 안내, 보유 쿠폰 기반 업셀링까지 다양한 혜택 정보가 특별한 우선순위 정리 없이 노출되고 있었거든요. 혜택을 표기하는 UI도 제각각이었고요. Phase 3를 진행하면서 혜택 관련 정책을 모두 모아 시스템과 위계를 정리했어요.

그리고 최소주문금액바를 ‘지금 내 장바구니 상태’ 를 보여주는 결과창으로, 새로 도입한 서브보드는 ‘다음에 뭘 하면 더 이득인가’ 를 보여주는 가이드창으로 역할을 분리했어요. 장바구니 상태(최소주문금액 달성 전·후 / 무료배달 달성 전·후)별로 어떤 혜택을 1순위로 노출할지 정책 위계도 정리했고요. 최소주문금액 달성 전이라면 최소주문금액을 채우기 어려워하는 미주문·장기이탈 고객 대상 혜택을 우선순위 높게 노출했고, 최소주문금액 달성 후에는 장바구니 사이즈를 키울 수 있도록 업셀링 넛지를 노출하기로 했어요.

이 실험, 성공일까 실패일까?

이렇게 세 번째 A/B 실험을 진행했어요. 그리고 결과를 처음 봤을 때 좀 당황했어요. 주문전환율과 장바구니 이탈률에도 유의미한 차이가 없었고, 평균주문금액도 오르지 않았거든요. 분명히 이번에도 소폭이나마 오를 것이라 자신했던 지표에 어떠한 유의미한 변화도 없었어요. Phase 1과 2 실험 가설이 너무 명확하게 검증됐었기 때문에 최소주문금액바를 ‘주문 전환을 올리는 치트키’로 생각했던 것 같아요. 그래서 더 큰 좌절감이 들었습니다.

하지만 좌절하고 있을 수만은 없죠. 뭐가 잘못된 거지? 데이터를 더 들여다봤어요.

이번 실험에서 A그룹 대비 B그룹에서 실제로 달라진 것은 사실 ‘보유 쿠폰 기반 업셀링 문구(N원 더 담으면 N원 할인)의 노출’ 한 가지였어요. 혜택 위계 정리는 이번 범위에 포함됐지만, 다른 혜택들은 UI가 다를 뿐 기존 A그룹에도 노출되고 있었거든요.

이 부분을 주의 깊게 살피다가 결정적인 사실 하나를 발견했어요.

쿠폰 업셀링 문구(N원 더 담으면 N원 할인)를 확인 한 사용자 수가 예상보다 굉장히 적었어요. 노출 조건은 두 가지였습니다. 사용자가 ‘고허들 쿠폰'(배달 최소주문금액보다 더 담아야 쓸 수 있는 쿠폰)을 보유하고 있어야 했고, 배달 최소주문금액을 이미 달성한 상태여야 했어요. 첫 허들인 최소주문금액을 넘은 후에 업셀링을 노출해야 더 담는 효과가 있을 거라 판단해서 설계된 안이었어요. 그런데 당시 고허들 쿠폰을 거의 운영하지 않아서 노출 조건을 만족하는 사용자가 적었던 거예요.

가설 자체가 틀린 건지 검증 환경이 받쳐주지 않은 건지 데이터를 다시 들여다봤어요. 노출된 사용자에 한정해서 보니 장바구니 사이즈도 확실히 늘었고, 주문전환율도 미노출 그룹보다 훨씬 높았어요. Phase 2 보조 지표에서 봤던 신호인 ‘구매 의사가 있는 사용자에게 혜택을 노출하면 실질적인 주문 전환으로 이어진다’가 이번에도 다시 확인되었습니다.

UI 변경 자체의 성과도 있었어요. B그룹에서 최소주문금액바를 통해 장바구니로 진입하는 클릭률이 높았고, 반응한 고객의 주문전환율도 높았습니다.

결국 가설은 의미가 있었어요. 단지, 커머스 전체 지표를 움직일 만큼 혜택이 노출되지 않았던 거죠.

그러면 이 실험은 성공으로 봐야 할까요, 실패라고 봐야 할까요?

성공과 실패 사이의 레슨런

“Phase 2에서 평균주문금액이 떨어졌으니까, Phase 3에서 평균주문금액을 올리자”라는 방향으로 실험을 설계했지만 결과를 보면서 깨달았어요. 평균주문금액 상승이라는 효과는 업셀링 문구 노출 조건(쿠폰 보유 여부)에 강하게 좌우돼서, 컴포넌트 자체만으로 평균주문금액을 일관되게 올리기는 어려웠어요. 보통 커머스에서는 무료배달이나 쿠폰 혜택 금액에 맞춰 주문하는 허들 구간 구매가 일반적이에요. 그리고 이 허들 구간은 프로덕트의 컴포넌트나 UI/UX보다는 사업과 마케팅의 전략에 의해 좌우되고요.

그래서 최소주문금액바의 본질은 탐색-주문의 마찰을 줄이는 것임을 다시 한번 정리할 수 있었어요. 탐색 마찰을 줄이는 역할은 프로덕트 사이드에서 기여할 수 있는 부분이 분명해요. 하지만 평균주문금액 향상은 반드시 사업팀, 마케팅팀과 발맞춰 가야 한다는 걸 다시금 깨달았습니다. 이 경험이 또 다음 네 번째 실험으로 이어집니다.

 
최소주문금액을 쉽게 넘을 수 있도록 부족한 금액만큼의 저단가 상품을 추천하면 주문 전환이 올라갈 것이다.
 

Phase 3가 끝난 뒤 한 발 물러서 처음부터 다시 생각해 봤습니다. “최소주문금액바가 평균주문금액 향상의 도구가 아니라 주문 전환 도구라면, 어디서 전환이 막히고 있는 걸까?”

이탈 고객 분석에서 두 가지 인사이트를 발견했어요.

• 이탈 고객의 절반 이상이 최소주문금액을 달성하지 못했다.
• 반대로 주문 전환에 성공한 사용자들 대부분은 무료배달 구간에서 주문한다.

즉 ‘허들 구간’에 명확한 병목이 있었던 거예요.

"최소주문금액을 코앞에 두고 이탈하는 사람들의 허들 달성을 도와주면 전환이 올라갈 것이다. "

심지어 최소주문금액을 채우지 못하고 이탈하는 고객의 대부분은 아주 적은 금액(Gap)만 채우면 허들을 넘길 수 있는데 그걸 못 채우고 이탈하더라고요. Phase 3의 레슨과 이탈 분석의 발견이 합쳐져서 Phase 4의 가설이 됐어요.

Phase 4 실험 가설

실험 설계 (B그룹 vs C그룹)

같은 가설을 어떻게 노출할지 두 가지 안을 설계했어요. 두 안 모두 Phase 3에서 정보가 너무 많아 보였던 점을 반영해 UI는 공통적으로 간소화했고, 차이는 넛지를 언제 노출할지에 있었어요.

• B그룹: 부족 금액 유무와 상관없이 추천 넛지를 항상 노출
• C그룹: 부족 금액이 8천 원 이하일 때만 추천 넛지를 노출

C그룹은 사실 UT(User Test) 피드백에서 출발한 안이었어요. Phase 4 진행 전 UT에서 "Gap이 너무 크면 업셀링 문구가 부담스럽다"는 의견이 있어서, 부담스럽지 않은 범위에서만 넛지를 보여주는 게 더 효과적일지 검증하고 싶었거든요. 두 그룹 모두 화살표(^) 아이콘의 추천 넛지를 누르면 그 자리에서 추천 상품 바텀시트가 올라오는 구조였어요.

이 실험, 성공일까 실패일까?

결과는 솔직히 아쉬웠어요. 주문전환율 향상이 나타나지 않았어요.

상품 추천이 더 빠른 담기와 주문 전환으로 이어졌다는 성과를 찾기는 어려웠지만, 한 가지 흥미로운 점을 발견했어요. B그룹은 추천 넛지가 항상 노출되어 평균주문금액이 방어된 반면, 부족한 금액이 8천 원 이하일 때만 추천 넛지가 노출되는 C그룹에서 평균주문금액이 유의미하게 떨어졌다는 점이었어요. 그런데 이 결과를 좀 다른 각도에서 보면 흥미로운 지점이 있습니다. 이게 사실은 Phase 3에서 검증하지 못했던 가설, ‘업셀링 넛지가 평균주문금액을 올린다’를 역방향으로 입증한 것이기도 했거든요.

Phase 3에서는 고허들 쿠폰을 거의 운영하지 않아서 업셀링 문구 노출 자체가 너무 적었고, 그래서 가설을 검증할 데이터가 부족했어요. 그런데 Phase 4에서는 실험 환경에 변화가 있었어요. 마케팅 방향에 변화가 생겨 고허들 쿠폰을 적극 운영하게 되었고, 쿠폰 강조 장치가 도입되어 쿠폰 발급률이 높아졌어요. 그 결과 ‘N원 더 담으면 N원 할인’ 같은 업셀링 문구가 훨씬 더 많이 노출되었습니다. 이렇게 환경이 충분히 받쳐주는 상태에서 업셀링 넛지를 의도적으로 줄여보니까(C그룹) 평균주문금액이 떨어졌어요. Phase 3에서 노출 부족으로 흐릿하게 남았던 가설이 Phase 4 C그룹에서 ‘정반대 방향으로’ 또렷하게 검증된 거죠. 실험은 한 번으로 끝나지 않는다는 사실을 체감한 순간이었습니다.

‘최소주문금액바’라는 하나의 장치로 4번의 실험을 진행했어요.
 

 

그 과정에서 깨닫고 배운 것들이 정말 많았는데 그중에서도 가장 크게 느낀 두 가지를 마지막으로 정리해보려 해요.

실험은 성공과 실패의 이분법으로 정의될 수 있는가?

이 글을 쓰면서 가장 하고 싶었던 이야기예요.

A/B 실험에는 가설과 검증이 있고, 메인 지표와 가드레일 지표를 기준으로 롤백과 롤아웃 여부를 결정해요. 그래서 롤아웃이면 성공, 롤백이면 실패처럼 단순하게 생각하기 쉽습니다.

그런데, 목표한 지표가 오르지 않은 실험은 정말 실패한 실험일까요?

저는 아니라고 생각해요. 실험을 하는 이유는 목표 지표를 올리기 위함이지만, 그게 전부는 아니거든요. 특히 퀵커머스처럼 사업이 빠르게 변하는 환경에서는 서비스도 그 변화에 맞춰 끊임없이 다시 자기 모습을 찾아야 해요. 서비스는 살아 있는 생명체와 같아서 한 번의 결과가 영원하지 않거든요.

그래서 실험의 진짜 가치는 그 실험에서 발견한 고객의 행동 패턴과 거기서 길어 올린 레슨런에 있다고 생각해요. 그게 다음 실험의 자산이 되거든요. 메인 지표만 보고 ‘이건 성공, 이건 실패’라고 자르고 끝내면 다음으로 개선할 길이 없어요. 가설이 검증되지 않은 실험에서도 사용자가 어떻게 움직였는지를 끝까지 들여다보고, 거기서 다음 아이디어를 얻고, 그걸 어디에 어떻게 적용할지를 찾아내는 일. 그게 모든 실험의 가장 중요한 가치라고 생각해요.

하나의 기능에 지속적으로 오너십을 가진다는 건 매번 새로운 가설을 다시 쓸 용기를 갖는 일인 것 같아요. 어떤 가설은 검증되고, 어떤 가설은 검증되지 않아 실패처럼 느껴지기도 하죠. 하지만 둘 다 다음 가설을 위한 재료라는 점에서 귀중한 자산이에요. 성공과 실패의 이분법에서 벗어나야 어떤 결과 앞에서도 자만하지도 좌절하지도 않고 지속적으로 발전시켜 나갈 수 있습니다.

AI 시대를 살아가는 PM들에게

또 한 가지, 이 글을 쓰는 동안 계속 마음에 남던 질문이 있어요.

요즘은 어딜 가도 AI 활용 사례와 관련 글이 가득합니다. 저도 업무에 AI를 적극적으로 활용하면서 일하는 방식을 바꾸려고 노력하고 있고요. 그런데 쓰면 쓸수록 ‘AI를 쓰는 스킬’ 보다 더 중요한 게 무엇인지 자꾸 다시 묻게 되더라고요.

딸깍 한 번으로 모든 게 다 되는 것 같았던 허니문 기간이 지나고 나니 AI 시대에 변함없이 중요한 것은 일을 대하는 태도, 문제를 정의하는 방식, 문제를 해결하는 방향이라는 생각이 점점 선명해지더라고요. 가설과 데이터를 던져주면 어떤 접근이 효과적일지, 어떤 지표를 보면 좋을지 완벽하게 설명해 주는 AI 앞에서 여전히 PM의 이런 고군분투는 의미가 있는 것인가? 처음엔 그 질문 앞에 선뜻 대답하기가 어려웠어요. 그런데 AI가 데이터를 빠르게 처리해 줄수록 ‘이 데이터에서 어떤 질문을 길어 올릴지’, ‘여러 인사이트를 어떻게 연결할지’ 는 오히려 사람의 몫이라는 걸 깨달아가고 있습니다.

4번의 실험에서 가장 결정적인 순간들을 떠올려보면 선명해집니다. Phase 2의 보조 지표에서 ‘최소주문금액바가 평균주문금액의 천장으로 작용했다’, 그리고 ‘혜택 표기는 구매 의사가 있는 사용자에게 더 명확히 작동한다’는 신호를 길어 올려 Phase 3 가설로 연결한 순간. Phase 3 실험 결과를 이탈 분석으로 옮겨 가 ‘허들 구간 이탈 패턴’을 발견하고 Phase 4 가설을 설계한 순간. Phase 4에서 다시 확인된 업셀링 넛지와 평균주문금액의 상관관계까지. 이 모든 게 ‘신호를 인사이트로 전환하고, 인사이트를 다음 가설로 연결한’ 순간이었어요.

그리고 그게 AI 시대에 오히려 더 또렷해진 PM의 역할이라는 생각이 들어요.

이제 최소주문금액바의 고도화은 어느 정도 일단락됐지만, 실험 결과에서 다음 가설을 길어 올리는 방법, 데이터의 바다에서 인사이트를 찾아내는 힘은 다음 프로젝트에서도 충분히 적용할 수 있을 거라 생각해요. AI 시대에 진부하지만 정답이라고 생각하는 일, 스스로 생각하고 방향을 잡아가는 일을 꽉 붙들고 싶어요. 저를 포함해 이 시대를 살아가는 모든 ‘메이커’들을 응원합니다. 🙂