구글, AI 생성 텍스트 탐지 도구 '신스ID' 오픈소스로 공개

“PCWorld는 독자가 공감할 수 있는 정보를 탐구하고, 깊이 있는 풍부한 경험을 전달하기 위해 다각적인 이야기를 펼치고 있습니다.” 이 말은 마치 AI가 작성한 것처럼 들릴 수 있지만, 사실 이것은 ‘나’라는 인간이 직접 쓴 문장이다.
 

ⓒ Michael Crider/Foundry

사실 특정 텍스트가 AI가 생성한 것인지, 아니면 사람이 쓴 것인지 구별하기는 어렵다. 최근 구글은 이를 더 쉽게 파악할 수 있도록 새로운 소프트웨어 도구를 공개했다.

구글은 이 도구를 신스ID(SynthID)라고 부르며, “AI가 생성한 콘텐츠를 워터마크로 표시하고 감지하는” 방법이라고 설명했다. 그동안 신스ID는 구글의 자체 언어 및 이미지 생성 시스템에만 사용됐지만, 이제 구글은 다른 AI 텍스트 생성 시스템에서도 적용할 수 있도록 신스ID를 오픈소스 코드로 공개했다. 컴퓨터 과학에 능통하다면, 네이처지에서 자세한 내용을 확인할 수 있다.

일반인도 이해할 수 있는 수준으로 말하자면 신스ID는 인간이 눈치채기 어려운 특정 패턴이 이미지와 텍스트에 숨기고 테스트할 때 그 패턴을 감지하는 체계를 갖추고 있다.

오픈소스 ML 데이터베이스인 허깅페이스 게시물에서 구글은 신스ID가 “LLM에서 생성된 텍스트에 워터마크를 삽입해 텍스트가 LLM에서 생성된 것인지 확인할 수 있게 해준다. LLM 성능에 영향을 주거나 생성 품질을 떨어뜨리지 않는다”라고 설명했다.

구글에 따르면 이런 워터마크는 대부분의 AI 텍스트 생성 도구와 통합될 수 있다. 그러나 나쁜 소식은, 워터마크를 확실히 감지하는 것이 여전히 명확하게 해결되지 않았다는 점이다.

신스ID 워터마크는 자동 감지를 피하려는 몇 가지 기본적인 방법들, 예를 들어 단어를 바꿔서 “표절이 아니다”라고 주장하는 속임수를 피할 수는 있지만, 워터마크의 존재를 확실성으로만 나타낼 수 있다. 생성 텍스트에서 가장 중요하고 문제가 되는 “사실에 기반한 응답(factual responses)”에 적용하거나 대량의 텍스트가 자동 번역 또는 기타 재작성을 거치는 경우는 확실성이 떨어진다. 

구글은 “신스ID 텍스트는 악의적인 공격자가 피해를 주는 것을 직접적으로 막기 위해 설계된 것이 아니다”라고 설명했다. (사실, 구글이 LLM로 생성된 잘못된 정보에 대한 만능 해결책을 개발했다 하더라도 법적 책임 문제로 그렇게 표현하는 것을 꺼렸을 것이다.) 또한 이 시스템은 텍스트 생성 도구에 워터마크 시스템이 사전 통합되어야만 작동하기 때문에, 악의적인 국가나 xAI의 그록(Grok)처럼 “더 자유로운” 도구를 사용하는 사람이 이 도구를 적용하지 않는 것을 막을 방법이 없다.

또한 구글이 신스ID를 공개한 것이 전적으로 너그러운 행동은 아니라는 점도 언급할 필요가 있다. 구글은 소비자와 기업 모두에게 자사의 AI 도구를 밀어붙이고 있지만, 핵심 제품인 구글 검색은 자동 생성된 텍스트와 이미지로 빠르게 채워지는 웹으로 인해 위험에 처해 있다. 오픈AI 같은 경쟁업체는 단순히 사업상의 이유로 이런 도구를 사용하지 않을 수 있으며, 자체적인 표준을 만들어 자사 제품을 사용하도록 유도할 수 있다. 
editor@itworld.co.kr