Vercel agent-desktop - AI 에이전트가 데스크톱 앱을 조작하는 CLI

2 hours ago 1

AI 에이전트가 맥/윈도우/리눅스에서 앱을 열고, 메뉴를 누르고, 입력란을 채울 수 있음. 창 이동과 크기 조절, 클립보드 읽기와 쓰기도 지원
운영체제의 접근성 API로 버튼, 메뉴, 입력란을 JSON으로 가져와, 화면 좌표 대신 각 요소의 ID로 클릭하거나 텍스트를 입력할 수 있음
요소 ID로 조작할 때는 기본적으로 마우스 포인터를 움직이거나 앱 포커스를 가져오지 않음. 필요하면 스크린샷을 찍거나 키보드와 마우스로 직접 입력할 수도 있음
CLI, MCP 서버, C 라이브러리로 연결할 수 있으며, 무엇을 조작하고 결과를 어떻게 확인할지는 연결한 에이전트가 결정함
agent-browser 와의 차이
- 둘 다 Vercel Labs의 오픈소스로, UI를 읽고 요소 ID로 조작하는 방식은 같음
- agent-browser는 브라우저 탭 안의 웹페이지를, agent-desktop은 운영체제의 접근성 API를 통해 데스크톱 앱과 창을 조작함.
Apache-2.0 라이선스