프롬프트 인젝션 막을 수 없다면? Meta가 제안한 설계 원칙 3가지

Simon Willison이 프롬프트 인젝션에 관한 최신 연구 2편을 분석한 글을 발표.

AI 프롬프트 인젝션 공격은 현재 방어 기술로 완벽히 막기 어렵다. Meta는 이를 인정하고, 시스템 설계 원칙인 "Agents Rule of Two"를 통해 위험을 최소화할 것을 제안한다.

주요 내용:

• 위험과 취약성: 공격자가 AI에 악의적 명령을 삽입해 개인정보 유출이나 피싱 유발 가능. 12개 방어 시스템이 90% 이상 뚫린 연구 결과 강조.
• Rule of Two 원칙: AI 에이전트가 다음 3가지 속성(A, B, C) 중 동시에 2개만 가지도록 설계.
  • [A] 신뢰 불가능한 입력 처리
  • [B] 민감 시스템/개인정보 접근
  • [C] 상태 변경이나 외부 통신
  • 예: 이메일 봇은 A(입력) + C(통신) 가능하나, B(개인정보)는 금지.
• 현실적 접근: 완벽 방어가 아닌 설계로 위험 줄이기.

결론: 프롬프트 인젝션은 피할 수 없으므로, Rule of Two 같은 원칙으로 AI 시스템을 재설계하라. 실용적 대안으로 평가됨.