Opus 5.5 성능이 낮아졌나? 11월 3일 사고 패턴이 바뀜

5 hours ago 3

Hacker News 의견들 몇 주 전부터 Fable의 품질 저하를 느꼈고, 지난주에는 거의 모든 작업의 기본 추론 설정을 Extra High로 올렸는데도 Opus까지 나빠진 느낌임. 오늘 밤에는 터무니없는 실수를 반복해서 정말 답답함. 일관되고 믿을 만한 도구를 원하는데, Anthropic은 다른 면에서는 훌륭해도 이 부분은 그렇지 못함. 올해는 두어 달마다 이런 불편이 반복돼서, 다른 선택지가 따라잡으면 바로 떠나고 싶음. 다만 그때가 언제일지 모르겠음. 테스트 과정에서 대화 도중 모델을 교체하면 새 모델이 이전 모델의 추론을 읽지 못한다는 내용을 어디선가 봤음. 사실인지는 모르겠지만, 최근 며칠 동안은 그런 느낌을 자주 받음. Fable을 몇 달 동안 비교적 독립적으로 장시간 작업을 수행하는 용도로 잘 써왔는데, 약 2주 전부터 완전히 안 되기 시작함. 내 작업 흐름에서는 성공률이 약 85%에서 10%로 추락함. 내 착각이나 투사일 수도 있고 작업 난도가 달라졌을 수도 있지만, 상당히 충격적임. A/B 테스트 실험인 듯함. https://www.reddit.com/r/ClaudeCode/comments/1xr9x5y/the_ner... https://www.ueddit.com/r/ClaudeCode/comments/1xr9x5y/the_ner... Deepseek은 반대로 더 똑똑하고 빨라지고 있음. 특히 중국 API를 쓰는 데 거부감이 없다면 더 그럼. Gemini Argon은 이전 3.8보다 멍청해지고 속도도 상당히 느려짐. 아는 몇몇 팀은 린트와 검증을 전부 LLM과 Markdown 파일로 옮기기 시작함. 나중에 버그가 발견된 변경 사항을 에이전트에게 검토시켰더니 해당 버그를 찾아냈다는 이유였음. 그 자체는 좋지만, 새 모델이 나올 때마다 기존 버그를 모두 잡는지 확인할 것인지 곧바로 걱정됨. 제공업체를 바꾸거나, 업체가 수익성을 높이려고 모델을 몰래 조정하면 어떻게 할 것인지도 걸림. 이런 문제마다 결정론적 린터도 만들겠다고 하지만 희망 사항에 가까움. 모호한 텍스트 조금으로 99.9%를 해결하는데 나머지 0.1%에 큰 노력이 든다면 실행하지 않을 것임. 결국 특정 모델의 동작에 종속되고, 가장 예상치 못한 순간에 대가를 치르게 됨. 어쩌면 LLM이 계속 좋아지고 저렴해질 수도 있겠지만, 지금은 전부 도박이나 다름없음. 직접 호스팅하면 이런 걱정을 쉽게 털어낼 수 있는데도 이런 서비스에 의존하도록 ...

Read Entire Article




피플앤툴즈 네트워크
🛍 샵