AI 에이전트: "더 많은 기능"보다 "더 높은 신뢰성"이 필요함

• 항공편 예약은 왜 AI 에이전트 데모의 "Hello World"가 되었을까?
  • 사용자는 AI가 비행기를 예약해주는 것보다 이미 완성된 UX(예: Google Flights)를 선호함
  • 단 한 번의 실수로 복잡한 고객 서비스 지옥이 시작될 수 있음
  • 직관적이고 예측 가능한 시스템이 오히려 더 혁신적임
• AI는 아직 초기 단계이며, 일반 사용자는 일관성과 예측 가능성을 기대
  • 예: 80% 정확도라도 일관된 결과를 내면 수용 가능
    반면, 불규칙한 90% 정확도는 신뢰를 무너뜨림
  • 많은 AI 프로젝트는 이를 간과하고 화려한 데모와 무리한 기능을 추구함 → 결국 신뢰 상실
• 점점 더 많은 IDE가 투명성을 잃고 있음
  • 사용자가 AI가 무엇을 하고 있는지 알 수 없음
  • 예: Reddit에서 화제가 된 Cursor가 전체 작업을 삭제한 사건
    • 사용자의 버전 관리 미숙도 문제이지만, 진짜 원인은 UI/UX 설계
    • 좋은 설계는 실수를 예방하고 AI의 동작을 명확히 설명, 실행 취소 기능을 제공해야 함
• Cursor는 초기에는:
  • 탭-완성 인터페이스로 투명하고 가벼운 상호작용 제공
  • 사용자 신뢰를 서서히 쌓는 방식으로 인기를 얻음
  • 단순하고 되돌릴 수 있는 디자인이 AI 불신을 줄이는 데 효과적이었음
• $2억 투자를 받은 Devin은 "완전 자율 에이전트"를 지향
  • 복잡한 시스템, 느린 반응, 예측 불가능한 결과로 신뢰 붕괴
  • 지나치게 야심 찬 접근이 오히려 사용자 혼란 초래

신속함 vs. 신뢰성: AI 개발팀의 딜레마

• AI 개발팀은 다음 중 하나를 선택해야 함:
  • 빠르게 움직이다가 실수를 감수할 것인가
  • 신뢰성과 안정성을 우선할 것인가
• 해답은 "작은 범위에서 뛰어난 성과"를 낼 수 있는 기능에 집중하고, 꾸준히 반복 개선하는 것

핵심 원칙: 복잡성보다 예측 가능성

• 복잡한 시스템보다는 잘 이해된 태스크에 집중해야 함
• AI 에이전트는 여전히 변혁적이지만, 다음 세 가지가 중심이 되어야 함:
  • 신뢰성
  • 투명성
  • 예측 가능성

워크플로우 vs. 에이전트

• Anthropic의 프레이밍: "태스크가 워크플로우로 표현 가능하다면, 에이전트가 아닌 워크플로우를 만들 것"
  • 워크플로우는 예측 가능하고, 제어 가능하며, 단순함
  • 에이전트는 복잡하고 제어가 어렵기 때문에 진정한 동적 상황에서만 사용해야 함