복잡한 시스템은 어떻게 실패하는가 (1998)

운송·의료·발전 같은 복잡한 시스템은 본질적으로 위험하지만 여러 방어층과 사람의 대응으로 작동하며, 재앙은 다수의 작은 결함이 결합해 방어망을 통과할 때 발생함 시스템에는 잠재 결함과 성능 저하가 항상 존재하므로 사고를 하나의 근본 원인으로 환원할 수 없으며, 결과를 아는 상태에서 당시 판단을 평가하면 후견지명 편향이 개입함 현장 실무자는 생산과 사고 방지를 동시에 수행하면서 불확실한 결과를 감수하고, 조직이 모호하게 남겨둔 비용·효율·위험의 균형을 현장 행동으로 결정함 기술과 조직의 변화는 기존 결함을 줄이는 동시에 드물지만 피해가 큰 새로운 실패 경로를 만들며, 특정 행동을 차단하는 사고 후 대책은 결합도와 복잡성을 높일 수 있음 안전은 사람·장비·부서 하나에 있는 속성이 아니라 계속 변하는 시스템의 창발적 속성이며, 실무자가 실패의 경계를 경험하고 상황에 적응하면서 매 순간 만들어냄 본질적 위험과 다층 방어 복잡한 시스템은 본질적으로 위험함 운송·의료·발전처럼 중요한 시스템의 프로세스에는 제거할 수 없는 내재적 위험이 있음 위험에 노출되는 빈도는 바꿀 수 있지만 프로세스 자체의 위험은 환원할 수 없으며, 이 위험 때문에 방어 체계가 만들어짐 복잡한 시스템은 실패에 맞서 강력하고 성공적으로 방어됨 실패의 결과가 크기 때문에 기술적 백업과 장비의 안전 기능뿐 아니라 교육·지식, 정책·절차, 인증, 작업 규칙, 팀 훈련 같은 다층 방어가 축적됨 이러한 방어막은 정상적인 운영이 사고로 향하지 않도록 방향을 바꿈 재앙에는 여러 실패가 필요함 겉보기에 사소하고 무해한 결함들이 결합해야 시스템 사고가 가능해지며, 각 결함은 필요조건일 수 있지만 하나만으로는 충분하지 않음 실패 기회는 실제 사고보다 훨씬 많고, 초기 실패 경로의 대부분은 설계된 안전 요소가 차단함 운영 단계에 도달한 경로도 대개 실무자가 차단함 잠재 결함과 성능 저하 상태 복잡한 시스템에는 계속 바뀌는 잠재 실패가 존재함 복잡성 때문에 여러 결함이 없는 상태로 운영하기 어려우며, 개별적으로 사고를 일으키지 않는 결함은 일상 운영에서 사소한 요소로 취급됨 모든 잠재 실패를 제거하려면 경제적 비용이 들고, 사고 전에는 각 결함이 어떻게 사고에 기여할지 알아보기 어려움 기술·작업 조직의 변화와 결함 제거 활동 자체가 잠재 실패의 구성을 계속 바꿈 복잡한 시스템은 성능이 저하된 상태로 운영됨 수많은 중복 장치와 사람의 개입 덕분에 여러 결함이 있어도 시스템은 ...