Agent Behavior - AI 에이전트의 반복 행동을 문서화해 평가 기준으로 삼는 표준
1 week ago
25
- 장시간 동작하며 수백 번 판단하는 AI 에이전트를 최종 결과 하나로만 평가하기 어려워, 작업 과정에서 반복적으로 보여야 할 행동을 문서화하는 개방형 포맷
- 에이전트가 어떤 정보를 확인하고, 무엇을 판단하며, 어떻게 실행하고, 정보가 부족하거나 실패했을 때 어떻게 복구해야 하는지를 기술함
- 일회성 작업 절차나 도구 사용법보다 비용/안전/정확성처럼 여러 작업에 걸쳐 계속 지켜야 하는 행동을 다룸
- 행동 스펙은 .agents/behaviors/<name>/BEHAVIOR.md에 저장하며, YAML frontmatter의 name/description과 자유 형식 Markdown 본문으로 구성됨
- 필요하면 references/에 근거 문서, 예시 트레이스와 배경 자료를 함께 둘 수 있음
- 본문 형식은 강제하지 않지만 의도, 확인할 증거, 판단, 실행, 복구, 실패 유형으로 나누어 작성하는 방식을 권장함
- 행동 스펙은 에이전트를 직접 실행시키는 시스템 프롬프트가 아니라, 무엇을 좋은 행동으로 볼지 먼저 정의하는 문서임
- 시스템 프롬프트와 스킬은 행동을 구현하고, eval은 그 행동이 실제로 나타났는지 측정하며, 트레이스는 에이전트가 실제로 한 일을 기록함
- 특정 스코어러나 평가 방식을 강제하지 않으므로 사람의 트레이스 리뷰, 루브릭 평가, 자동 eval 등에서 같은 스펙을 기준으로 사용할 수 있음
- 모든 행동 스펙을 매번 런타임 프롬프트에 넣는 구조가 아니며, 주로 트레이스 검토/eval 설계/프롬프트 감사/행동 회귀 디버깅 시 불러옴
- 비용이 드는 작업 전 확인, 재무 결과 검증, 세금 조사에서 1차 자료 우선 사용, 지원 티켓 분류 등의 예제를 제공함
- agentbehavior validate, list, explain CLI로 스펙을 탐색하고 frontmatter와 디렉터리 구조를 검사할 수 있음
- CLI는 형식만 검증하며 본문의 행동 기준이 좋은지는 사람이나 모델이 별도로 판단해야 함
- 실행 가능한 예제는 기록된 트레이스를 행동 스펙과 비교해 true/false/na로 판정하지만, 이는 표준이 요구하는 고정 평가 방식은 아님
- Apache-2.0 라이선스
-
Homepage
-
Tech blog
- Agent Behavior - AI 에이전트의 반복 행동을 문서화해 평가 기준으로 삼는 표준