ChatGPT가 쓴 글에 '보이지 않는 워터마크'… 단어 25% 바꾸자 탐지율 17%

무슨 일이 있었나

OpenAI가 10월 5일 EU AI Act의 텍스트 출처 표시 규칙에 대응해 AI 생성 텍스트 워터마킹 기술인 textGrain과 적용 계획을 공개했습니다.

이미지나 오디오 파일에 출처 정보를 남기는 것과 달리 텍스트는 복사하거나 다시 쓰기 쉽습니다. OpenAI는 생성되는 문장의 단어 선택에 사람이 볼 수 없는 통계적 신호를 넣고, 별도의 탐지기로 그 신호를 확인하는 방식을 씁니다.

어디에 적용되나

API 고객은 10월 5일부터 전 세계에서 일부 지원 모델의 텍스트 워터마크를 선택적으로 켤 수 있습니다. 기본값은 꺼져 있습니다.

일반 ChatGPT와 Codex에서는 앞으로 몇 주 동안 EU의 대상 텍스트 출력에 적용됩니다. OpenAI는 출시 단계에서 이를 전 세계 기본 기능으로 적용하지 않는다고 밝혔습니다.

따라서 이번 발표를 한국 ChatGPT 사용자의 모든 답변에 즉시 워터마크가 적용되는 변화로 해석하면 안 됩니다.

textGrain은 어떻게 작동하나

textGrain은 모델이 문장을 만들 때 고르는 단어에 보이지 않는 통계적 신호를 넣습니다. 탐지기는 해당 문장에 OpenAI 워터마크 신호가 있는지를 평가합니다.

OpenAI는 자체 평가에서 textGrain이 SynthID for text를 포함해 시험한 다른 접근법과 같거나 더 높은 성능을 보였다고 설명했습니다.

다만 이는 OpenAI 자체 평가 결과이며, 이상적인 조건의 성능이 실제 환경에서 같은 탐지 신뢰도를 보장하지는 않는다고 OpenAI도 명시했습니다.

단어를 바꾸자 탐지율이 크게 떨어졌다

가장 중요한 한계는 텍스트를 수정하면 워터마크 신호가 약해질 수 있다는 점입니다.

OpenAI가 워터마크를 넣은 400토큰 길이의 영어 응답으로 실험한 결과, 단어 10%를 동의어로 바꿨을 때 탐지율은 약 92%에서 66%로 떨어졌습니다. 25%를 바꿨을 때는 17%까지 낮아졌습니다.

짧은 글도 더 어렵습니다. 목표 오탐률 1% 조건에서 심리학 분야 200토큰 텍스트의 탐지율은 약 80%, 400토큰은 약 95%였습니다. 수학처럼 쓸 수 있는 단어 선택의 폭이 작은 분야에서는 탐지율이 더 낮았습니다.

워터마크가 알려주지 못하는 것

OpenAI는 워터마크가 발견됐다고 해서 글의 작성자나 소유자, 정확성을 알 수 있는 것은 아니라고 강조합니다.

워터마크는 OpenAI 시스템이 해당 텍스트의 일부를 생성하거나 처리했다는 신호가 될 수 있지만, 사람이 얼마나 수정했는지나 누가 썼는지는 알려주지 않습니다.

반대로 워터마크가 발견되지 않았다고 사람이 직접 쓴 글이라고 단정할 수도 없습니다. 짧은 글이거나, 수정·번역됐거나, 지원하지 않는 모델에서 생성됐다면 탐지되지 않을 수 있기 때문입니다.

왜 탐지기를 모두에게 공개하지 않나

OpenAI는 워터마크 탐지기 접근을 우선 승인된 연구자와 전문기관에만 제공합니다. 탐지 실패와 오탐 가능성이 있는 상황에서 결과가 잘못 해석될 위험이 있기 때문입니다.

탐지기는 OpenAI 워터마크가 발견됐는지를 알려주지만, 사용자의 신원이나 프롬프트, 대화 내용은 공개하지 않습니다.

기존 흐름과 무엇이 다른가

OpenAI는 이미 이미지와 오디오에 Content Credentials, C2PA, SynthID와 검증 도구를 써 왔습니다. 이번 발표의 핵심은 이 출처 확인 체계가 텍스트로 넓어진다는 점입니다.