Gen AI 플랫폼 만들기

Chip Huyen이 작성한 “Building A Generative AI Platform” 의 한글 번역입니다.

이 글은 다양한 회사에서 구축하고 있는 생성 AI 플랫폼의 일반적인 공통 구성 요소와 각각의 역할, 그리고 어떻게 구현 되는지 설명하고 있음.

생성 AI 플랫폼은 단순한 모델 호출에서 시작하여, 컨텍스트 강화, 가드레일 추가, 모델 라우터 및 게이트웨이 도입, 캐시 적용, 복잡한 로직과 액션 추가 등의 단계를 거쳐 확장됨.

컨텍스트 강화: 모델이 외부 데이터 소스와 정보 수집 도구에 접근하여 컨텍스트를 강화하고, 이를 통해 모델의 신뢰성과 응답 품질을 향상시킴. RAG(Retrieval-Augmented Generation)의 개념과, 단어 기반 검색 및 임베딩 기반 검색을 활용하여 외부 데이터와 연동하는 방법을 설명.

가드레일 추가: 민감 정보 유출을 방지하고 생성된 응답의 품질을 보장 및 부적절한 내용의 응답을 방지하기 위해 가드레일을 추가하는 방법을 다룸.

모델 라우터와 게이트웨이 추가: 여러 모델을 효율적으로 관리하고, 요청을 적절한 모델로 라우팅하며, 보안을 강화하기 위해 모델 라우터와 게이트웨이를 도입하는 방법을 설명

캐시 적용: 반복적인 요청에 대해 프롬프트 캐시, 시멘틱 캐스 등을 적용하여 응답 속도를 높이고, 비용을 절감하는 방법을 설명.

복잡한 로직과 액션 추가: 복잡한 비즈니스 로직과 액션을 추가하여 플랫폼의 기능성과 응답 품질을 향상시키는 방법을 설명.

가시성 확보와 오케스트레이션: 시스템의 동작을 모니터링하고 디버깅하며, 모든 구성 요소가 함께 원활하게 작동하도록 오케스트레이션하는 것의 중요성을 강조