지금 AI psychosis 상태의 회사들이 있다고 믿는다

30 minutes ago 1

미첼 하시모토: "지금 많은 기업이 심각한 AI 집단 광기에 빠져 있으며, 그들과 이성적인 대화를 나누는 것은 불가능하다"
클라우드 인프라 자동화 시대의 MTBF vs MTTR 논쟁이 이제 소프트웨어 개발 산업 전체로 확산되고 있으며, AI 에이전트에 대한 맹신이 새로운 형태의 집단적 광기를 만들어내고 있음
"에이전트가 빠르게 버그를 고칠 테니 버그를 출시해도 괜찮다"는 MTTR 만능주의가 횡행하고 있으며, 이는 인프라 시대에 이미 실패로 검증된 사고방식
시스템이 국지적 지표상으로는 건강해 보이면서도 전체적으로는 이해 불가능한 상태로 변질될 수 있으며, 버그 리포트 감소와 테스트 커버리지 증가가 실제 안전성을 보장하지 않음
이 문제를 직접 제기하면 "테스트 커버리지 100%다", "버그 리포트가 줄고 있다" 같은 즉각적 반박으로 대화가 차단되며, 전체 그림을 보지 못하는 상황
변화 속도가 너무 빨라 아무도 기저 아키텍처의 부식을 인지하지 못한 채, 자동화된 "회복력 있는 재앙 기계"를 만들어가고 있음

핵심 주장: AI 집단 광기(AI Psychosis)

현재 많은 기업이 심각한 AI 집단 광기 상태에 있으며, 이들과 이성적인 대화를 나누는 것 자체가 불가능함
구체적인 인물을 거명할 수 없는 이유는 개인적으로 깊이 존경하는 친구들이 포함되어 있기 때문
이 상황이 어떻게 전개될지에 대한 깊은 우려를 표명함

인프라 시대의 교훈: MTBF vs MTTR

클라우드 전환 및 클라우드 자동화 시기에 겪었던 MTBF(평균 고장 간격) vs MTTR(평균 복구 시간) 논쟁이 다시 부상
당시에는 인프라 영역에 국한되었으나, 지금은 소프트웨어 개발 산업 전체(나아가 전 세계)로 확대
AI 맹신론자들은 거의 절대적인 "MTTR이면 충분하다" 사고방식으로 움직임
- "에이전트가 인간이 할 수 없는 속도와 규모로 버그를 고칠 테니 버그를 출시해도 괜찮다"는 논리
인프라 시대에 배운 교훈: MTTR은 훌륭하지만, 회복력 있는 시스템 자체를 완전히 버릴 수는 없음

대화 차단과 반박 패턴

이 문제를 개인적으로 아는 사람들에게 제기하면 즉각적인 무시로 이어짐
- "아니야, 테스트 커버리지가 완전해" 또는 "버그 리포트가 줄고 있어" 같은 반응
- 이러한 반박은 전체 그림을 보여주지 못함
직접 개인적으로 우려를 전달했으나 듣지 않았으며, 더 넓은 범위에서 공유하는 것이 중요하다고 판단

자동화된 재앙 기계

인프라에서 이미 한 번 배운 교훈: 자동화를 통해 "매우 회복력 있는 재앙 기계"를 만들 수 있음
시스템이 국지적 지표로는 건강해 보이면서 전체적으로는 이해 불가능해지는 현상 발생
버그 리포트는 줄어들지만 잠재적 위험은 폭증
테스트 커버리지는 올라가지만 의미론적 이해는 하락
변화가 너무 빠르게 일어나 아무도 기저 아키텍처의 부식을 인지하지 못함

주요 답글에서의 논점

@adamhjk: "순수 바이브 코딩이 가장 먼저 파괴하는 것이 아키텍처 자체"이며, 애초에 아키텍처가 있어야 부식을 감지할 수 있음
미첼 하시모토의 추가 설명: 인프라에서는 온라인 시스템을 업데이트해 합리적인 시간 내에 모든 사용자에게 MTTR을 적용할 수 있지만, 라이브러리·데스크톱 소프트웨어·모바일 앱 등 타인이 통합하거나 직접 실행하는 소프트웨어에서는 이 방식이 통하지 않음
@tinygrad: AI가 말한 것이 완전히 잘못된 정보인지 판별하는 데 10초가 아닌 20분이 걸리는 시대에 진입했으며, 조직이 현실과의 접점을 유지해야 함
@beyang: 현재 에이전트 UX가 "LGTM(Looks Good To Me)"을 가장 저항이 적은 경로로 만들고 있으며, 에이전트가 생성하는 그럴듯해 보이는 코드의 속도가 코드 리뷰의 검증 문제를 즉각적 위협으로 격상시킴
@beh_zod: 출시의 보상 함수는 짧고, 사람들이 축적하고 있는 부채를 인식하는 데 걸리는 시간은 대부분의 주의 집중 범위를 넘어섬
@shipwithjay: 엔지니어링 리더십이 반사실적 질문(이걸 멈추려면 무엇이 사실이어야 하는가)에 답하지 못하고 침묵할 때가 증상
@chadfowler: 이 문제에 대한 책을 집필 중이며, 핵심은 엄격함(rigor)을 아키텍처와 평가 체계로 재배치하는 것, 지금이 그동안 시간과 비용 부족으로 실천하지 못했던 모범 사례를 실행할 기회

사람들의 질문과 의견에 대한 Mitchell Hashimoto의 답변들

Q: "대신 무엇을 해야 하는가?"
- A: "생각하라 (AI를 사용하되, 생각하라)"
Q: "AI는 과대평가됐다"는 생각이 오히려 더 정신병적인 증상일 가능성이 높다고 봄
- A: 모든 세속적 트렌드는 과대평가되지만, 그것이 일괄적으로 무시할 이유는 아님
Q: "지금 가진 것을 지키는 것과 위험 속으로 뛰어드는 것 중 하나를 선택해야 한다면, 나는 두 번째 선택을 할 것"
- A: 이건 이분법적 스위치가 아님