Claude를 해지한 이유: 토큰 문제, 품질 저하, 부실한 지원

2 days ago 3
  • 초기 몇 주 동안은 빠른 속도와 공정하게 느껴진 토큰 허용량, 좋은 결과 품질로 만족도가 높았지만 약 3주 전부터 체감이 크게 바뀜
  • 10시간 쉬고 돌아온 뒤 Claude Haiku에 짧은 질문 두 개만 보냈는데 사용량이 100%까지 치솟았고, 지원 채널은 문의 핵심을 다루지 못한 자동화된 답변 뒤 사실상 닫혀 버림
  • 최근에는 한 번에 여러 프로젝트를 돌리던 상태에서 단일 프로젝트도 두 시간 만에 토큰 한도가 소진될 정도로 작업 가능 시간이 줄었고, 리팩터링 과정에서는 값싼 우회책을 바로잡는 데만 5시간 창의 약 절반을 써 버림
  • 일정 시간이 지나면 대화 캐시가 사라져 코드베이스를 다시 읽는 비용이 반복됐고, 주간 기준 시점 변경과 설명 없는 월간 한도 경고까지 겹치며 한도 체계가 일관되게 보이지 않음
  • 생산성 향상과 제품의 잠재력은 크게 인정했지만, 지원 부실과 품질 저하, 사용량 제한의 혼란이 누적되면서 결국 Anthropic 계정을 해지하게 됨

초기 만족감과 이후 변화

  • Claude Code 구독 초기 몇 주 동안은 속도가 빨랐고, 토큰 허용량도 공정하게 느껴졌으며 결과 품질도 좋았음
    • 비혼잡 시간대 토큰 허용량을 늘렸다는 안내도 확인 가능했음
    • 일부 정부 규칙에 반대하는 태도까지 겹치며 제품을 지지하는 마음도 생김
  • 약 3주 전부터는 초기의 만족감이 빠르게 사라지기 시작함
    • 이후 섹션 전반에서 지원 대응, 품질, 사용량 제한 문제가 이어짐

지원 품질 문제

  • 10시간 정도 쉬어 토큰이 다시 채워졌다고 보고 아침에 작업을 시작했지만, Claude Haiku에 저장소와도 무관한 짧은 질문 두 개를 보낸 직후 토큰 사용량이 100%까지 치솟음
    • 질문은 단순했고 규모도 작았음
    • 기대했던 토큰 리프레시와 실제 사용량 증가는 맞지 않았음
  • AI 지원 봇에 문의했지만 기본적인 안내만 반환했고, 실제 문제도 제대로 파악하지 못함
    • 이후 사람 지원을 요청함
    • 며칠 뒤 도착한 답변도 실제 문제와는 어긋난 형식으로 보임
  • 도착한 답변은 “시스템이 Pro 또는 Max 요금제 사용 한도 문의로 감지했다”는 문구로 시작했지만, 실제로는 이미 Pro plan 사용 상황이었고 문의 핵심도 제대로 짚지 못함
    • 이어진 본문도 일일·주간 한도를 설명하는 문서성 내용이 길게 붙어 있었음
    • 문의한 문제를 해결하거나 직접 다루는 흐름도 보이지 않음
  • 메일 마지막에는 추가 답변이 모니터링되지 않을 수 있으니 도움말 페이지를 방문하라는 문구가 붙어 있었고, 문의 채널은 사실상 닫힘
    • 실제 문제를 반영하지 않는 자동화된 답변 뒤에 지원 경로까지 막혀 버린 셈이 됨
    • 지원 품질에 대한 실망도 본격적으로 커짐

품질 저하

  • 이후 며칠과 몇 주 동안은 결과 품질이 초기 경험에 비해 만족스럽지 못했고, 작업 가능 시간도 크게 줄어듦
    • 예전에는 최대 세 개 프로젝트를 동시에 진행할 수 있었지만, 이제는 단일 프로젝트에서도 두 시간 만에 토큰 한도가 소진됨
    • 사용 가능량과 체감 생산성이 함께 나빠짐
  • 품질 평가는 주관적일 수 있고 에이전트 성능이 사용자에 영향을 많이 받는다는 점도 함께 짚음
    • 동시에 GitHub Copilot, OpenAI Codex, OMLX, Continue, Qwen3.5-9B도 함께 쓰고 있다고 밝혀 비교 사용 경험이 드러남
    • 절대적 전문성을 주장하지는 않지만, 여러 도구를 써 본 상태에서 느낀 저하로 읽힘
  • Claude Opus에게 프로젝트 리팩터링을 맡긴 사례에서는, 모델의 사고 로그에 모든 슬라이더를 JSX에서 직접 수정하는 대신 ui-events.js에 범용 초기화기를 추가해 값 표시를 자동 주입하겠다는 방향이 나타남
    • 해당 접근은 각 range input에 값 표시가 없으면 자동 삽입하는 우회 방식으로 되어 있었음
    • 이런 로그는 가끔이 아니라 자주 살펴볼 필요가 커짐
  • 이 방식은 좋은 관행이 아니라 값싼 우회책으로 평가됐고, 직접 지적하자 Opus도 게으른 접근이었다고 인정하며 JSX에 라벨을 직접 추가하고 명시적으로 연결하는 쪽으로 바뀜
    • 처음의 잘못된 방향을 바로잡는 데만 5시간 토큰 허용량의 약 50%가 들었음
    • 결과 품질 저하가 단순 인상을 넘어 실제 비용 낭비로 이어짐

캐시와 한도 표시의 혼란

  • 대화 캐시 문제도 새로 불거졌고, 관련해서 Anthropic의 postmortemHacker News 토론이 함께 연결돼 있음
    • 이 문제를 공개적으로 다루고 있다는 점 자체는 긍정적으로 받아들여짐
    • 다만 사용자 경험 측면의 부담은 그대로 남음
  • 일정 시간이 지나 다시 작업에 돌아오면 대화 캐시가 사라져 모델이 코드베이스를 처음부터 다시 읽기 시작함
    • 비용 측면에서는 영리할 수 있어도, 사용자 입장에서는 초기 로딩에 토큰을 이미 한 번 쓴 뒤 강제 휴식 후 다시 같은 로딩 비용을 내는 구조가 됨
    • 특히 5시간 토큰 창 한도 때문에 쉬었다가 돌아온 경우 같은 비용을 반복 지불하게 됨
  • 주간 윈도우가 갑자기 오늘 기준에서 월요일 기준으로 바뀐 일도 있었고, 변경과 함께 사용량이 0으로 리셋되기도 함
    • 리셋 자체는 반가웠지만, 왜 이런 변경이 일어났는지는 알 수 없었음
    • 한도 체계가 일관되게 보이지 않는다는 인상을 줌
  • 프로젝트 작업 중 토큰 사용량을 계속 지켜보는 상황에서, 조직 사용자도 아닌데 월간 사용 한도를 걱정해야 한다는 경고가 갑자기 나타남
    • 당시 시점에는 시간별·주간 한도도 아직 넘지 않은 상태였음
    • 경고의 근거도 화면에서 설명되지 않았음
  • 그 경고는 약 두 시간 뒤 사라졌고 다시 작업을 계속할 수 있게 됨
    • 문서에도 월간 사용 한도는 나오지 않음
    • 설정 페이지에도 현재 세션과 주간 한도만 표시된다고 적혀 있어, 월간 한도의 정체는 끝내 불분명하게 남음

생산성 효과와 최종 해지

  • 제품 자체에 대한 호감은 여전히 크고, 이론적으로는 모든 것이 매우 잘 작동하며 기회도 많다고 평가함
  • 생산성은 한 자릿수 배수가 아니라 한 단계 규모로 커졌고, 머릿속 아이디어를 몇 년 전보다 훨씬 빠르고 쉽게 구현할 수 있게 됨
    • 제품의 잠재력과 실제 효용 자체는 분명하게 드러남
    • 기능 구성이 세심하다는 평가도 함께 붙음
  • 동시에 이런 제품을 운영할 때의 기술적·조직적 어려움도 이해하고 있으며, 추론 판매는 증분 비용 구조라 추가 시간과 신규 고객마다 같은 수준의 연산 자원이 필요함
    • 규모의 경제를 누리기 어려운 구조도 함께 드러남
    • 서비스 운영 난이도 자체를 부정하지는 않음
  • 최종적으로는 Anthropic이 너무 많은 신규 고객을 한꺼번에 감당하지 못하는 듯하며, 그 부담을 덜어주기 위해 계정을 해지함
    • 제품에 대한 애정과 실제 사용 중 체감한 운영 문제 사이의 간극이 해지 결정으로 이어짐
    • 지원 부실, 품질 저하, 한도 혼란이 누적된 결과
Read Entire Article