2024: 기업내에서의 생성형 AI 현황 - Menlo 벤처스

파일럿에서 프로덕션으로: AI 도입 가속화

• 2024년은 생성형 AI가 기업의 핵심 전략으로 자리 잡은 해
• AI 관련 지출: 2023년 $23억에서 2024년 $138억으로 6배 이상 증가
• 기업의 72%가 생성형 AI 도구의 채택이 더욱 확대될 것으로 예상
• 많은 조직이 여전히 구현 전략을 명확히 정의하지 못했지만, 대규모 변화의 초기 단계로 진입 중

생성형 AI 지출: 기업의 헌신적 투자

• 60%: 혁신 예산에서 조달
• 40%: 기존 예산을 재배치하며 AI를 장기 전략으로 편입
• $46억이 생성형 AI 애플리케이션에 투자되며, 전년 대비 8배 증가
  • 기업들은 평균 10개의 잠재적 활용 사례를 식별하며 도입 속도 증가

주요 사용 사례와 ROI

1. 코드 코파일럿 (51% 도입)
   • GitHub Copilot, Codeium, Cursor 등 도구가 개발 생산성 향상
2. 지원 챗봇 (31% 도입)
   • 24/7 지원 제공: Aisera, Decagon, Sierra 등
3. 엔터프라이즈 검색 및 데이터 변환 (28%, 27% 도입)
   • 데이터 사일로를 통합 검색으로 활용: Glean, Sana 등
4. 회의 요약 (24% 도입)
   • Fireflies.ai, Otter.ai, Fathom이 회의 효율 개선

AI 기반 에이전트와 자동화의 부상

• 현재: 인간의 작업을 보완하는 방식 선호
• 미래: 독립적으로 복잡한 프로세스를 관리하는 완전 자동화 에이전트로 전환 예상
  • 예: Clay, Forge

도입 장벽과 실패 원인

• 실패 이유:
  1. 구현 비용(26%)
  2. 데이터 프라이버시 문제(21%)
  3. 기대에 못 미치는 ROI(18%)
  4. 기술적 문제(15%, "헛소리" 생성 포함)
• ROI와 맞춤화를 우선시하되, 기술 통합 및 지원도 고려 필요

산업별 생성형 AI 도입 현황

1. 헬스케어 ($5억 지출)
   • 자동화된 의료 문서화 및 환자 관리: Abridge, Notable
2. 법률 ($3.5억 지출)
   • 계약 검토 및 소송 준비 자동화: Harvey, Everlaw
3. 금융 서비스 ($1억 지출)
   • 회계 및 규제 준수 개선: Numeric, Rogo
4. 미디어 및 엔터테인먼트 ($1억 지출)
   • 콘텐츠 제작 효율 향상: Runway, Descript

AI 기술 스택과 설계 패턴

• 주요 트렌드:
  1. RAG(검색 증강 생성): 51% 채택
  2. 미세 조정: 여전히 드물며 9%만 도입
  3. 에이전틱 아키텍처: 12%에서 도입 시작
• 데이터 스토리지:
  • AI 네이티브 벡터 DB Pinecone 18% 시장 점유

전망: AI의 미래에 대한 주요 예측

• 2024년은 하이프에서 현실적 구현으로 전환된 해로, 주요 데이터와 투자 트렌드를 바탕으로 향후 다음과 같은 세 가지 주요 예측을 제시:
• AI 에이전트가 차세대 변화를 주도
  • 에이전틱 자동화가 콘텐츠 생성과 지식 검색을 넘어 복잡한 다단계 작업을 처리하며 AI 변혁을 이끌 전망
    • 예: Clay와 Forge 같은 플랫폼은 $4천억 소프트웨어 시장과 $10조 미국 서비스 경제에 도전
  • 이 변화는 새로운 인프라 필요:
    • 에이전트 인증, 도구 통합 플랫폼, AI 브라우저 프레임워크, AI 생성 코드 전용 런타임 등
• "다윗이 골리앗을 이긴다": 기존 기업의 쇠퇴
  • ChatGPT는 올해 Chegg와 Stack Overflow를 강타:
    • Chegg: 85%의 시장 가치 소멸
    • Stack Overflow: 웹 트래픽 절반 감소
  • 추가적인 도전이 예상되는 영역:
    • IT 아웃소싱 기업(Cognizant) 및 기존 자동화 기업(UiPath)
    • Salesforce 및 Autodesk 같은 대형 소프트웨어 기업도 AI 네이티브 스타트업의 도전을 받을 가능성
• AI 인재 부족 심화
  • AI 시스템 확산과 고도화로 심각한 인재 부족 상황 초래
    • 데이터 과학자뿐 아니라 AI 기술과 도메인 전문성을 결합할 수 있는 전문가가 특히 부족
    • 경쟁 심화:
      • AI 숙련 엔터프라이즈 아키텍트의 연봉이 2-3배로 상승하는 현상 보편화
    • 훈련 프로그램 및 AI 센터에 대한 투자에도 불구, 인재 수요는 공급을 초과
    • 다음 AI 혁신을 이끌 인재 확보를 위한 치열한 경쟁 예상