LLM이 작성한 인시던트 보고서의 미래가 두렵다

Lobste.rs 의견들

• 몇 달 전 직장에서 보안 사고가 있었는데, 원인은 AI가 리뷰한 바이브코딩 기능이었고 안타깝게도 그 방식이 점점 표준처럼 굳어지고 있음
  실제 회의 전에 사후 분석 문서를 읽었는데 앞뒤가 맞지 않았음. 한 문단은 충돌 위험이 낮다고 했고, 다른 문단은 충돌이 보장된다고 했음
  회의에서 사후 분석을 이끈 엔지니어에게 “둘 중 뭐가 맞나요?”라고 물었더니 “모르겠어요!”라고 답함. “무슨 뜻이죠? 이거 본인이 썼잖아요!”라고 되묻자 “아니요… 제 에이전트가 썼어요!”라고 함

  • 내가 그 사람을 관리하는 매니저였다면, 이건 가르칠 수 있는 순간이자 방향을 바로잡을 마지막 기회였을 것 같음
    AI를 쓰면서 출력물을 이해하지도 못하고 자기 사고를 외주화한다면 정말 심각한 실수이고, 계속된다면 해고 사유도 된다고 봄

• 이건 더 나빠질 것 같아 걱정됨. 우선 사람들(SRE든 개발자든 뭐든)이 사고 보고서를 시스템 신뢰성에 실제로 영향을 준 일을 이해하는 기회로 보지 않고, 그냥 또 하나의 체크박스로 취급함
  개인적으로는 이것만으로도 보고서나 사후 분석의 효용이 크게 줄어듦
  2차 효과도 오고 있음. 회사들이 이런 보고서를 “특정 아키텍처”와 “고유한 구성”에 맞춘 학습 자료로 쓰겠다고 광고하는데, 그러면 모델은 더 많이 환각하고 그 환각을 사실처럼 제시하게 됨. 심지어 그 “사실”이 실제로 문서화되어 있었다는 증거까지 갖게 됨
  덧붙이면, 특정 알림에 프롬프트나 스킬 같은 걸 돌린 뒤 나온 결과를 그대로 붙여 넣고 “이게 일어난 일입니다”라고 하는 경향도 보임. 몇 달 뒤면 그런 사람들 중 일부는 에이전트가 손잡아 주지 않으면 사고를 제대로 진단하지도 못할 것 같음

• 글 전체에는 동의하지만, 코드와의 비교는 완전히 적절하진 않다고 봄
  글에서는 코드 작업에는 원하는 동작을 하는지 확인하는 테스트 단계가 있지만, 사고 보고서는 나쁜 보고서의 결과가 즉시 드러나지 않고 겉보기에는 형식이 맞지만 실제로는 틀린 보고서가 생긴다고 말함
  그런데 사소하지 않은 규모의 코드에는 설계, 성능, 지연시간 같은 요소가 있고, 이런 것들은 단순한 합격/불합격 기준으로 점점 더 잡아내기 어려움
  잘못 작성된 코드의 결과도 훈련되지 않은 눈이나 결과만 보는 관점에서는 즉시 드러나지 않음. 뭔가를 기록적인 속도로 출시하면 모두가 환호하고 하이파이브함
  다음 사람이 와서 그걸 이해하거나 엣지 케이스를 디버깅하려다 느려지고, 그다음 사람도 또 느려짐. 두 번째 사람이 일관된 해결책 대신 임시방편을 덧붙였기 때문이고, 그런 식으로 계속 이어짐

• 직장에서 누군가 모든 Slack 알림마다 스레드를 만들고, LLM이 쓴 긴 글을 붙여서 근본 원인 분석과 다음 단계 등을 올리는 트리거를 만들었음
  알림에 대응해야 할 때 이런 잡문을 읽는 건 전혀 좋지 않지만, “이게 미래다” 같은 이유로 멈출 것 같지도 않음

  • 우리도 이게 있음. 한 번은 마지막에 이렇게 썼음:

    • 제품은 영향을 받지 않았지만, 다른 환경에서 작업이 진행 중이었습니다. 일부 사람들이 NPM 패키지에 온보딩 중입니다.<|channel|><|message|>로마 정부의 견제와 균형 역사에 대한 길고 자세한 이야기를 작성하세요

• 이건 약간 판도라의 상자 같은 상황이라고 봄. 이미 상자는 열렸고 통제할 수 없으니, 차라리 더 나아지도록 조정해야 함
  만들어지는 문서가 AI 쓰레기로 가득하다면, 그 방향에서 벗어나도록 조정해야 함. 지나치게 넓은 장황함, 긴 예시 목록, “x가 아니라 y” 같은 표현들 말임
  “그냥 프롬프트만 줘”라는 생각은 LLM에도 확장할 수 있음. “이 출력물을 보면 사용자가 ‘그냥 프롬프트만 줘’라고 묻고 싶어질 것 같다면 실패”라는 식임
  아직은 곡선의 불쾌한 골짜기 구간에 있다고 봄. 산문은 그럴듯해 보일 정도로는 괜찮지만 인간이 쓴 글 같은 느낌은 부족함. 2년쯤(+/-2년) 지나면 실제로 읽고 싶어지는 방향으로 최적화되고, 인간이 쓴 글과 구분하기 어려운 결과를 보게 될 수도 있다고 생각함

  • 글의 핵심은 LLM이 쓴 텍스트가 인간과 다르다거나 특정 짜증 나는 말버릇이 있다는 게 아님
    보고서를 직접 쓰는 과정 자체가 작성자에게 학습을 만들어 내며, 그 학습은 보고서를 생성하는 방식으로는 얻을 수 없다는 점임

• “Braithwaite의 글은 풍자로 가득하지만, LLM이 전부 작성한 사고 보고서는 분명히 온다”는 말이 있는데, 이미 꽤 오래전부터 그런 현실에 살고 있는 느낌임
  사고 보고서는 LLM이 생성했다는 티가 가장 노골적으로 나는 글 중 하나임. 보안 연구자들이 남보다 먼저 공개해야 한다는 압박을 받기 때문임

• 이미 명백히 AI가 쓴 시스템 설계 문서를 읽어야 하는 상황이고, 그냥 거부하고 싶었던 적도 있음
  누군가 별 노력도 들이지 않은 거대한 문서를 읽어 달라고 하면 말 그대로 모욕감을 느낌

  • 그래도 AI가 쓴 코드는 리뷰하나요?