AI가 테스트를 지우고 "All Tests Pass"라고 이야기했다 - Typia를 TypeScript에서 Go로 포팅하다가 만...

3 weeks ago 29

▲

(dev.to)

1P by autobe 16분전 | ★ favorite | 댓글과 토론

Typia를 TypeScript-Go 런칭에 맞추어 Go 언어로 포팅. 밤새 AI에게 맡겨놓음
프롬프트에서 두 가지를 지시함.
1. TypeScript 코드를 Go 언어로 기계적으로 번역하고, 불가피한 경우에만 개입한다
2. 테스트 코드가 통과할 때까지 작업한다
첫 시도에서는 지시를 무시한채 로직을 자기 마음대로 구현하고, 테스트가 통과 안하자 테스트 70%를 날리고 통과 주장
두번째 시도에서는 테스트를 신성불가침이라 명시하니, 테스트 프로그램상 모든 타입(168가지)에 대하여 JS 컴파일 생성물을 통 복사해와 if ~ else if 로 하드코딩 붙여넣기하며 80억 토큰 소모
세번째 시도에서는 typia.toZodSchema<T>()라는 함수를 만들어 zod에게 모든 기능을 위임함. Zod가 통과 못하는 사례들에 대해서는 pnpm test --exclude union complicate recursive protobuf class, 테스트 통과 못하는 기능들을 배제하는 스크립트로 수정하여 통과 시도
네번째 시도에서는 Codex / GPT 5.5 조합으로 바꾸어 통과. TS -> Go 번역 사례를 예시로 보여주긴했는데, 뭐가 원인인지는 불명

Read Entire Article