Gemini 2.5 Computer Use 모델

• Gemini 2.5 Computer Use 모델은 AI가 컴퓨터를 제어할 때 발생할 수 있는 위험을 최소화하기 위해 설계됨
• 모델은 의도적 오용, 예기치 못한 동작, 프롬프트 인젝션 및 스캠 등 세 가지 중요한 위협을 고려하고 있음
• 개발자를 위한 행동별 안전 서비스와 시스템 지침 기능을 제공하여 잠재적으로 위험한 행위의 자동 실현을 방지함
• 추가적으로 문서와 안전 권장사항을 통해 개발자의 안전 조치 이행을 돕고 있음
• 이러한 안전장치에도 불구하고, 모든 시스템은 실제 출시 전 철저한 테스트가 반드시 필요함

안전 접근 방식

• Gemini 2.5 Computer Use 모델은 처음부터 책임감 있는 개발 방식으로 설계한 AI 에이전트임
• 컴퓨터를 제어하는 AI 에이전트는 사용자의 의도적 오용, 모델의 예기치 않은 행동, 웹 환경에서의 프롬프트 인젝션 및 사기 등 독특한 위험 요소를 가지고 있음
• 이 세 가지 주요 위험에 대응하기 위해, 안전 기능을 모델에 직접 학습시켰으며, 구체적인 내용은 공식 Gemini 2.5 Computer Use System Card에서 확인 가능함

개발자를 위한 안전 제어

• 개발자는 잠재적으로 고위험 또는 유해 행동이 자동으로 수행되지 않도록 안전 제어 기능을 사용할 수 있음
  • 예시: 시스템 무결성 훼손, 보안 위협, CAPTCHA 우회, 의료기기 제어 등
• 다음과 같은 안전 제어 기능이 제공됨
  • 행동별 안전 서비스: 모델이 제안한 각 행동을 실행 전에 평가하는 모델 외부 추론 시점 안전 서비스임
  • 시스템 지침: 개발자가 특정 고위험 행동에 대해 에이전트가 무조건 거부하거나 사용자에게 확인을 요청하도록 지정할 수 있음 (예시 문서 참고)

추가 지침 및 권장사항

• 개발자는 추가적인 안전 조치 및 모범 사례를 공식 문서에서 확인할 수 있음
• 이러한 안전장치는 위험을 줄이기 위해 설계되었으나, 모든 시스템 출시 전에는 반드시 철저한 테스트가 필요함