하나의 프롬프트를 11개 AI 모델에 실행했더니 나온 서로 다른 결과

Netlify가 동일한 커피숍 웹사이트 프롬프트를 11개 AI 모델에서 각각 3회 실행한 결과, 디자인·콘텐츠 품질과 평균 크레딧이 2.4부터 수백 단위까지 크게 달라짐 디자인 벤치마크가 아닌 실제 생성 결과를 비교한 주관적 실험으로, 모든 모델에 Netlify 기본 설정을 적용했고 GPT 5.6 Sol만 기본 low effort 모드로 실행함 Claude Opus 5는 가장 정교한 디자인을 만들었지만 한 번에 1,055크레딧을 소비했고, GPT 5.6 Terra는 평균 39크레딧으로 단순하면서도 다른 시각 언어를 보여줌 Gemini 3.6 Flash는 이전 세대 3.1 Pro보다 현대적인 결과를 냈고, Kimi K3의 장기 에이전트 작업 강점은 이번 디자인 과제에서 드러나지 않았으며, GLM 5.2와 DeepSeek 계열은 낮은 비용과 큰 결과 편차를 보임 초기 시안에서는 고가 모델의 일괄 완성과 저가 모델을 반복적으로 안내하는 방식이 모두 가능하지만, 복잡한 앱에서는 플랫폼 기능 적용·자체 검증·문제 수정 능력이 더 중요한 선택 기준이 됨 OpenRouter 연동으로 넓어진 모델 선택지 Netlify는 OpenRouter와의 파트너십을 통해 두 가지 기능을 추가함 AI Gateway에서 OpenRouter의 모든 모델을 사용할 수 있어, 앱의 AI 추론 기능에 작업과 예산에 맞는 모델을 선택할 수 있음 Agent Runners에서 Kimi K3, GLM 5.2, DeepSeek V4 같은 최신 오픈 모델을 누구나 사용할 수 있음 Agent Runners는 축소된 도구가 아니라 전체 코딩 에이전트를 실행하며, 기존에는 Claude Agent, OpenAI Codex, Gemini CLI를 지원했음 에이전트는 현재 프로젝트의 문맥과 추가 스킬을 바탕으로 Netlify Database, AI Gateway, Identity를 언제 어떻게 사용할지 판단함 여러 신규 모델을 구동할 수 있도록 오픈소스 에이전트 OpenCode도 선택지에 추가함 AXIS 평가와 세 가지 시나리오 Netlify는 최근 오픈소스로 공개한 AXIS로 모델과 에이전트를 자동 평가함 새 사이트 생성과 반복 수정 프롬프트를 제공함 평가할 에이전트와 모델을 지정하고, 생성된 사이트를 검사·채점할 조건을 정의함 AXIS는 시각 디자인보다 기능의 정확성에 초점을 맞춤 사용자 요구에 데이터베이스가 필요하면 이를 올바르게 사용하는지 검사함 정적 사이트로 ...