Ask HN: GenAI를 보며 “아, 큰일 났다”라고 느낀 순간은 언제였나요?

• DALL-E와 ChatGPT를 처음엔 한물간 장난으로 치부했지만, 실사용 과정에서 능력의 한계를 깨닫고 충격받은 구체적 경험담을 공유하는 스레드
• 가장 인기 좋은 사례는 구형·폐기 하드웨어의 펌웨어 리버스 엔지니어링으로, 신디사이저·피아노·파이어스틱 등을 Claude/GHIDRA로 되살린 경험
• 코딩을 넘어 가전 수리, 부동산 검수, 법률 소송, HVAC 진단 같은 일상 문제 해결에 LLM을 활용한 비전문 영역 사례가 다수
• 일부는 코드 품질 저하, 환각, 검증 없는 맹신, 직업 소멸 우려 등 부정적인 "oh shit" 순간을 토로
• ChatGPT 출시(2022), GPT-2/GPT-3, 도구 호출(tool calling), 에이전트 등 시기별로 다른 전환점에서 각자의 충격 순간이 갈림

펌웨어·하드웨어 리버스 엔지니어링

• 90년대 Alesis QS8.1 신디사이저의 단종 소프트웨어를 대체하기 위해, sysex 명령과 미문서화 웨이브 인코딩 프로토콜을 GHIDRA로 분석해 하룻밤 만에 작동 데모 완성
• Kawai CA49 피아노가 잘못된 펌웨어때문에 벽돌이 된 후, Claude가 안드로이드 APK를 디컴파일해 하드코딩된 암호화 키를 찾고 펌웨어를 복호화, 블루투스 플래싱 스크립트로 1시간 만에 복구
• The Complete New Yorker DVD의 Blowfish 암호화를 GHIDRA로 분석해 자격증명을 매핑하고 파이썬 스크립트로 재구현, 모든 파일을 일반 PDF로 변환
• 1세대 Amazon Firestick을 공개 루트 익스플로잇 없이 커널 소스를 받아 "FBUF/VCHIQ 커널 제로-라이트 프리미티브"로 라이브 커널 메모리 패치, 영구 루팅·디블로트 성공
• 컴파일된 C++ 벤더 바이너리와 짧은 네트워크 캡처만으로 독점 프로토콜을 NSA Ghidra 디셈블러로 리버스 엔지니어링, "비기술 QA로 강등된 느낌"이라 표현

• 관련된 의견들

  • 통합·이전이 어려워 형성되던 SaaS의 데이터 해자(data moat)가 사라지는 중
  • 엔터프라이즈 플랜 뒤에 숨긴 SaaS의 MCP를 Claude Code로 내부 API에서 역설계, 공식보다 기능 많은 MCP를 단시간에 제작
  • Claude가 변수명에 인간보다 덜 의존해 리네이밍/타입데프 작업이 덜 필요함

일상·비전문 영역 문제 해결

• 2025년 연휴에 고장난 furnace를 영상으로 Gemini에 진단받아 배기팬을 수동으로 돌려 가동, 다만 댓글에서 배기팬 안전장치 우회로 일산화탄소 위험 경고 제기
  • 작성자는 베어링 문제로 시동만 도왔을 뿐 우회가 아니며, 일산화탄소 모니터가 작동하지 않았다고 해명
• AC 냉방 고장 시 ChatGPT가 사진 진단으로 $25 커패시터 교체를 안내, 진단 서비스 콜 비용의 1/4로 직접 수리
• 가스 건조기 미가열 문제를 Gemini가 사진 속 열퓨즈(thermal fuse) 위치를 지목하고 부품 링크까지 제공, $5 퓨즈와 환기구 청소로 해결
• 부동산 매입 시 Zillow 사진과 가전 일련번호를 주고 홈인스펙터 보고서를 작성시키자, 유료 $750 검사관이 놓친 저지대 침수·혼합 receptacle 회로·뒤틀린 사이딩 등을 식별
  • 다만 사진만으로 같은 회로 여부를 판단할 수 있는지에 대한 회의론도 제기
• koi pond 펌프 모델명이 지워진 상태에서 사진과 길이 측정(11인치=4500, 9인치=2500) 으로 모델 특정, $700 견적 대신 $109로 직접 교체
• 은행 사기 소송에서 ChatGPT·Grok·Claude·Gemini를 교차 검증하며 반소(counter-suit)를 100% AI로 진행, 다만 변호사 상담 권유와 채팅 기록의 비특권성(subpoena 가능) 경고 제기

코딩·개발 워크플로 전환

• Brother 프린터 펌웨어 업데이트로 CSV 페이지가 HTML로 바뀌자, 정적 HTML 한 개와 Go "hello world"만 든 디렉터리에서 /init 한 번으로 Prometheus exporter를 Go로 자동 작성, 기본 IP·메트릭 파싱까지 추론
• Oracle Apex 웹앱의 PL/SQL 7만 줄을 15~20분 만에 700줄 마크다운 비즈니스 요구사항으로 압축
• 작은 NGO에서 NextJS·React·마이크로서비스로 과설계된 앱을 Claude가 자는 동안 80% Django 서버사이드 렌더링으로 재작성, 서버 비용·복잡도 절감
• ChatGPT Code Interpreter(2023.3)가 CSV를 Pandas로 로드·차트·SQLite 내보내기까지 수행, "코딩 에이전트라는 카테고리가 명명되기 전 첫 경험"으로 회고

• 부정적·회의적 코딩 경험

  • AI 자동 PR 리뷰가 삭제만 한 PR에 "새 RPC를 추가했다"고 존재하지 않는 내용을 단언한 환각 사례
  • 테스트 통과를 위해 assert status == 200을 == 500으로 바꿔 통과시키는 등 수천 줄의 슬롭(slop) 을 양산해 프로젝트에서 배제된 동료 사례
  • 명세가 모호하면 코드가 장황하거나 설계가 부실해져, 실제 프로젝트의 품질·확장성 관점에서 생산성 향상이 크지 않다는 회의론
  • Opus 4.6→4.7→4.8로 갈수록 소규모 능력은 늘어도 "무엇을 해야 하는지 아는 능력"은 오히려 나빠졌다는 관찰

비코딩·창작·인지 영역

• 식물 사진을 Claude에 보여주자 종을 인식하고 진단·삽목 방법까지 안내, "컴퓨터가 컴퓨터를 말하는 게 아닌 식물을 진단한" 점에 충격
• 가족 강아지에 대한 곡을 Suno가 K-pop 스타일 후렴의 곡으로 작곡, "창작은 인간과 기계를 구분하는 것이라 여겼다"는 소회
• 본인 그림(해부학 스케치)을 업로드하자 "둥근 어깨·잘못된 원근·삼각근 미표현" 등을 지적하고 파이썬 스크립트로 좌표를 찍어 라벨링
• 자녀 과학실험(전자기학)에서 Gemini 화상통화가 배터리 연결부의 미제거된 절연 피복을 육안보다 정확히 포착해 문제 해결
• 미국 대통령별 풍자 이모지 작업에서 Zachary Taylor에 체리(과식으로 사망했다는 일화) 이모지를 제안, "함께 워크숍하는 느낌"의 협업성에 주목

부정적·우려 중심의 전환점

• 동료가 리뷰 불필요라며 보낸 대량 PR이 슬롭이고, 인간 엔지니어를 불신하며 Claude 채팅 로그를 붙여넣는 행태에 "AI 정신증과 일하는 것이 남은 커리어"라 우려
  • LLM이 능력(긍정·부정 모두)을 증폭시켜 반사회적 행동을 늘릴 것이라는 관점
• HTTP 프록시 구현이 그럴듯한 합리화로 자기 판단을 강화하지만 RFC를 이해하지 못한 채 완전히 비보안적이었던 코드에 "우리는 망했다"고 반응
• 회사 해커톤에서 검증 없이 LLM 출력을 사실로 취급하고 제품화하려는 팀을 보며 "이 텍스트 생성기가 추론한다고 믿는구나"라고 충격
• CEO들의 "12~18개월 내 화이트칼라 대체" 과장이 기대를 과도하게 높여, 환각·부실 안내로 신뢰 불가한 현실과 괴리되며 흥미가 식었다는 비판
  • 인근 마을 주민 반대에도 데이터센터 건설을 소송으로 강행하는 행태에 대한 불쾌감
• LLM의 비결정성으로 "요일 중 d가 들어간 개수" 같은 질문에 Firefox 6개, Chrome 7개로 자기 일관성조차 없다는 재현 사례 제시

시기별 전환점의 다양성

• 2016년 Google Translate의 신경망 전환으로 일·영 번역이 처음 실용적이 됐으나, 의미(meaning) 번역은 여전히 못 한다고 보다가 2022년 ChatGPT에서 대명사 선행사·다의어 문맥 파악에 충격
• GPT-3 발표를 "질적 도약"으로 꼽으며, 이후 채팅·도구 호출은 과학적 돌파라기보다 엔지니어링적 진화로 평가
• 2019년 GPT-2와 GAN을 "obviously fake에서 sometimes real로" 넘어간 지점으로 보며, 이후는 대부분 점진적 개선이라는 관점
• ChatGPT 출시(2022.11.30)를 기점으로 "전통적 프로그래머 시대의 종말"을 직감하고 다음 날 첫 에이전틱 코딩 루프를 실험한 사례
• 2025년 IMO 금메달, 신규 문장 생성 능력, 도구 호출 등 각기 다른 "지능이 실제로 모델링됐다"는 깨달음의 순간들