GPT-5.6, Grok 4.5, Claude, Muse Spark로 동일한 앱 4개를 만든 결과

• 12개 모델에 레이캐스터 미로, 3D 루빅스 큐브, 계산기, Conway’s Game of Life를 만들게 한 결과, GPT-5.6 Sol과 Claude Fable 5가 복잡한 과제의 선두를 나눠 가짐
• 모델마다 과제별로 5회씩 시도해 성공 횟수·비용·시간과 모든 결과물을 공개했지만, 과학적 평가가 아니라 생성물을 직접 살펴본 주관적 비교라는 한계가 있음
• 레이캐스터에서는 GPT-5.6 Sol, 루빅스 큐브에서는 Claude Fable 5가 각각 5/5를 기록한 반면, Claude Opus 4.8과 GPT-5.6 Luna는 큐브에서 0/5에 그쳐 모델·과제별 편차가 컸음
• 오픈 웨이트 모델은 복잡하거나 새로운 과제에서 최상위 모델과 격차를 보였지만, 예제 코드가 풍부한 Game of Life에서는 Qwen 3.7 Plus와 GLM-5.2가 훨씬 낮은 비용으로 좋은 결과를 냄
• Grok 4.5는 일부 과제에서 Claude Opus 4.8 수준의 저렴한 대안이었고 Muse Spark 1.1도 오픈 웨이트 모델보다 전반적으로 나았지만, 최신·최고가 플래그십이 모든 과제에서 자동으로 우승하지는 않았음

비교 방식과 12개 모델

• 이전 비교에 대한 피드백을 반영해 규모를 12개 모델·4개 앱·과제당 5회 시도로 확대함
  • GPT-5.6 계열은 Sol, Terra, Luna로 구성됨
  • 비교 대상에는 Muse Spark 1.1, Grok 4.5, GPT-5.5, Claude Opus 4.8, Claude Fable 5가 포함됨
  • Fireworks를 통해 제공된 오픈 웨이트 비교군은 Qwen 3.7 Plus, DeepSeek V4 Pro, Kimi K2.6, GLM-5.2임
• 한 번의 결과만으로 평가하기 어렵다는 피드백에 따라 과제별 성공 횟수와 선호 결과를 따로 기록하고, 실행 간 편차를 확인할 수 있도록 모든 시도를 공개함
• 생성 결과물을 관찰한 주관적 비교로, 객관적이거나 과학적인 판정은 아님

Doom 스타일 레이캐스터 미로

• WASD 이동, 회전, 깊이에 따른 벽 음영, 바닥·천장, 충돌 처리를 갖춘 1인칭 미로를 제작하게 함
• 시각적 완성도보다 실제로 미로 안에서 이동하고 회전할 수 있는지만으로 성공 여부를 판정함
• GPT-5.6 Sol은 5/5에 비용 $1.35, 120초를 기록했으며, GPT-5.5보다 일관되고 게임의 세부 묘사도 풍부해 가장 좋은 결과로 평가받음
  • GPT-5.6 Luna도 5/5, $0.15, 23초였지만 결과 품질은 GPT-5.5보다 낮다고 평가됨
  • GPT-5.6 Terra는 3/5, $0.44, 39초로 세부 묘사는 좋았으나 일부 결과에서는 걸을 수 없었음
• Grok 4.5는 5/5, $0.27, 62초로 가격 대비 실용적인 대안이었고, GPT-5.5는 4/5, $1.44, 138초를 기록함
• Claude 계열은 기대보다 부진했음
  • Claude Opus 4.8은 4/5로 일관됐지만 결과가 단조로웠음
  • Claude Fable 5는 3/5로 좋은 결과를 만들었으나 일관성이 낮았음
• 오픈 웨이트 모델 중 Qwen 3.7 Plus와 Kimi K2.6은 각각 2/5, DeepSeek V4 Pro는 3/5를 기록함
  • GLM-5.2는 상세한 화면을 렌더링했지만 캐릭터가 한 번도 움직이지 않아 0/5에 그침
• Muse Spark 1.1은 2/5였지만 작동한 결과는 Fable·Sol과 비슷하고 Grok·Opus보다 좋다고 평가받아 예상 밖의 성과를 냄

3D 루빅스 큐브

• 색상이 있는 3D 큐브와 Scramble, Solve 버튼을 만들고, 회전을 화면에서 애니메이션으로 보여주게 함
• 섞기와 풀기 애니메이션이 모두 부드럽게 작동하면서 오류나 색상 변경이 없어야 성공으로 계산함
• Claude Fable 5가 5/5, $2.03, 92초로 유일하게 다섯 번 모두 깔끔하게 성공함
  • Claude Opus 4.8은 모든 결과에 작은 오류나 색상 변경이 있어 0/5에 그침
• GPT-5.6 Sol과 Terra는 각각 4/5를 기록함
  • Sol은 작동한 결과의 품질이 좋았지만, 이상한 애니메이션과 전부 검은색으로 렌더링된 결과가 있었음
  • Terra는 섞기 애니메이션이 이상했으나 GPT-5.5보다는 소폭 나았음
  • Luna는 처음에는 정상적으로 보이는 경우가 많았지만 섞기를 시작하면 즉시 깨져 0/5였음
• GPT-5.5는 4/5였으나 색상 깜박임과 매끄럽지 않은 회전이 있었고, Grok 4.5는 단순하지만 좋은 결과로 3/5를 기록함
• Qwen 3.7 Plus, Kimi K2.6, DeepSeek V4 Pro는 각각 1/5였고 GLM-5.2는 0/5였음
• Muse Spark 1.1은 2/5로 오픈 웨이트 모델보다 한 단계 나았지만, 가격을 고려하면 Grok보다 선택할 이유가 부족하다고 평가됨
• 레이캐스터에서 앞섰던 GPT 계열이 예상보다 부진한 반면 Claude는 Fable이 성과를 이끌면서 과제별 역전이 나타남

계산기

• 숫자·연산자·초기화·등호 버튼, 올바른 연산자 우선순위, 실제 계산기 같은 외형을 요구함
• (((5 × 5) − 100) / 10) 같은 기본 계산으로 연산 순서와 결과 렌더링을 확인했으며, 포괄적인 기능 검사는 아니었음
• Claude Opus 4.8과 Claude Fable 5는 모두 5/5를 기록함
  • Fable의 결과가 스타일 면에서 가장 선호됐음
• Grok 4.5는 5/5로 단순하고 일관됐으며, GPT-5.6 Luna도 5/5로 Grok과 비슷한 경험을 제공함
• GPT-5.6 Sol은 5/5였지만 과도한 스타일과 3D 표현을 시도해 깔끔하고 일관된 계산기 경험을 해침
  • GPT-5.6 Terra와 GPT-5.5는 각각 4/5였으며, GPT-5.5는 불필요한 버튼이나 잘리는 3D 표현을 만들기도 함
• Muse Spark 1.1은 5/5로 Grok 4.5와 비슷한 수준이었지만, 일부 결과에서 버튼 순서와 배치가 어색했음
• 오픈 웨이트 모델에서는 Qwen 3.7 Plus가 $0.04, 12초에 4/5를 기록했으나 한 결과가 음수를 처리하지 못함
  • DeepSeek V4 Pro는 3/5로 숫자 순서 오류와 결과 미표시가 있었음
  • GLM-5.2는 2/5였지만 성공한 결과의 품질은 좋았음
  • Kimi K2.6은 음수를 처리하지 못해 0/5로 계산됨
• 단순한 GPT 모델은 별도 수정 없이 바로 작동했으며, 복잡한 시각 효과를 더한 결과보다 기본 기능 중심 구현이 더 나은 경험을 제공함

Conway’s Game of Life

• 격자 캔버스, Play, Pause, Step, Randomize, Clear, 셀 클릭 전환과 세대 애니메이션을 구현하게 함
• 이 과제에는 별도의 5회 성공 판정을 적용하지 않고 비용·시간과 전반적인 인상만 비교함
• Grok 4.5가 좋은 결과를 냈고, 과제 자체가 단순하며 공개 예제 코드도 충분해 오픈 웨이트 모델 역시 매우 잘 수행함
• Qwen 3.7 Plus는 $0.04, 11초, GLM-5.2는 $0.10, 121초로 낮은 비용에 좋은 결과를 내 이 유형에 적합하다고 평가됨
• 복잡한 다른 과제에서는 오픈 웨이트 모델이 계속 어려움을 보였으므로, Game of Life의 결과를 일반적인 성능으로 확대 적용하기는 어려움
• 나머지 주요 비용·시간은 Grok 4.5가 $0.14·38초, GPT-5.6 Luna가 $0.13·18초, Terra가 $0.36·25초, Sol이 $0.99·62초, Muse Spark 1.1이 $0.32·98초였음

짧은 답변의 속도와 비용

• 짧은 프롬프트에서는 GPT-5.6 계열이 가장 빠른 응답 시작 시간을 기록함
  • Luna는 1.0초·97 tok/s·$0.001
  • Terra는 1.5초·62 tok/s·$0.001
  • Sol은 1.8초·45 tok/s·$0.003
• Qwen 3.7 Plus는 2.1초·204 tok/s·$0.001로 매우 저렴하고 빨랐으며, Grok 4.5는 3.0초·112 tok/s·$0.003, Muse Spark 1.1은 3.1초·125 tok/s·$0.002였음
• Claude Opus 4.8은 2.5초·44 tok/s·$0.004였지만 Claude Fable 5는 6.6초·30 tok/s·$0.01로 더 느리고 비쌌음
• DeepSeek V4 Pro는 9.3초·37 tok/s·$0.001, GLM-5.2는 7.0초·58 tok/s·$0.001로 응답 시작이 느렸음
• 일부 오픈 웨이트 모델은 전체 답변을 한꺼번에 내보내며 400토큰 상한에 도달했으므로, 표시된 tok/s는 실제 디코딩 속도가 아니라 상한값임

SVG 보너스 과제

• 라이브러리 없이 한 번에 SVG를 생성하게 하고, 5개 결과 중 유효한 SVG를 우선한 뒤 가장 상세한 결과를 선택함
• 말이 우주비행사를 태우고 있는 장면에서는 Claude Fable 5가 품질과 유머 면에서 좋은 결과를 냄
  • GPT-5.6 계열은 말과 우주비행사를 깔끔하게 렌더링하지 못해 기대보다 부진했음
  • Grok 4.5도 좋은 결과를 만듦
• Elon Musk와 Jeff Bezos가 바다 위 착륙장으로 내려오는 Blue Origin 부스터를 보는 더 어려운 장면에서도 Claude Fable 5가 가장 앞섬
  • Bezos 이마의 반짝이는 부분과 착륙장 주변 연기까지 세부적으로 구성하고 깔끔하게 렌더링함
  • GPT 계열은 만화적인 결과를 만들었으며 생성물마다 작은 오류가 남았음
  • GLM-5.2와 Qwen 3.7도 이 SVG 과제에서는 좋은 결과를 냄

과제에 따라 달라지는 모델 선택

• 복잡하고 새로운 레이캐스터와 루빅스 큐브에서는 최상위 모델의 우위가 뚜렷했으며, GPT-5.6 Sol과 Claude Fable 5가 각각 강점을 보임
• 단순하고 널리 구현된 과제에서는 Qwen 3.7 Plus와 GLM-5.2가 훨씬 낮은 비용으로 경쟁력 있는 결과를 만들 수 있음
• Grok 4.5는 일부 과제에서 Claude Opus 4.8 수준에 도달해 비용을 중시할 때 보조 실행 모델로 사용할 만한 성과를 냄
• Muse Spark 1.1은 Grok 4.5보다 한 단계 아래지만 오픈 웨이트 모델보다는 전반적으로 나았으며, 당장 우선 선택할 수준까지는 아니었음
• 과제에 따라 Sol, Fable, Grok, 저가 오픈 웨이트 모델의 순위가 달라져 최신·최고가 플래그십이 항상 승리하지는 않음