사람 이 썼는가, AI 가 썼는가 — RM-DETECT 를 만들며 한 고찰

글 한 편 을 앞에 두고 묻는다. 이거, 사람 이 썼나 AI 가 썼나?

이 질문 에 답 하는 작은 판별기 를 만들었다 — RM-DETECT. 한국어·영어 를 받아서, 이 텍스트 가 대규모 언어모델 로 생성 됐을 확률 을 문단 단위 로 돌려준다. 그런데 만들수록 선명 해진 건 판별 자체 의 자신감 이 아니라 그 반대편 이었다 — “완벽한 판별 은 원리상 불가능 하다” 는 것. 이 글 은 그 과정 에서 한 고찰 이다.

1. 판별기 는 사실 “무엇 을 재는가”

RM-DETECT 는 두 개 의 서로 다른 신호 를 섞는다.

① 예측 가능함(perplexity). GPT-2(영어)·KoGPT2(한국어) 로 각 토큰 이 얼마나 예측 가능 했는지 를 잰다. 언어모델 은 본질적으로 “다음 에 올 확률 이 높은 단어” 를 고르는 기계 다. 그래서 AI 가 쓴 글 은 자기 가 가장 좋아하는 길 을 따라간다 — 통계적으로 매끄럽고, 놀람 이 적다.

② 문체(stylometry). 문장 길이 의 분산, 논리 접속사 의 빈도, 문장부호 밀도, 어휘 패턴, 한국어 의 문체·격식 표지 같은 28 개 특징 을 뽑는다. 사람 의 글 은 이 지표 들 에서 들쭉날쭉 하다. AI 는 고르다.

이 28 개 특징 을 로지스틱 회귀 로 묶으니 교차검증 정확도 97.2%, AUC 0.994 가 나왔다. 숫자 만 보면 근사 하다. 하지만 이 숫자 가 무엇 위에서 나온 숫자 인지 가 이 글 의 진짜 주제 다.

판별기 는 “AI 임” 을 재지 않는다. “사람 의 불규칙함 이 없음” 을 잴 뿐이다.

2. 흔적 은 “예측 가능함” 에 남는다

핵심 통찰 은 하나 로 압축 된다. AI 는 너무 고르게 쓴다.

사람 이 쓴 문단 은 리듬 이 튄다 — 짧은 문장 하나 뒤에 길게 늘어지는 문장, 갑자기 끼어드는 삽입구, 이유 없이 반복 되는 버릇, 문득 격식 이 무너지는 지점. 정보이론 의 언어 로 말하면 버스티(bursty) 하다. 엔트로피 가 균일 하지 않고 뭉친다.

AI 는 그 뭉침 이 없다. 각 문장 이 평균 으로 회귀 한다. 예측 가능 하고, 균질 하고, 안전 하다. 바로 그 안전함 이 흔적 이다.

그래서 이 판별 은 기술적 이면서 동시에 인간학적 이다. 우리 가 잡아내려는 건 “기계 냄새” 가 아니라 인간 사고 의 결(texture) — 망설임, 편향, 고르지 못함 — 의 부재 다. 사람 을 사람 이게 하는 건 정연함 이 아니라 불규칙함 이라는, 조금 이상한 결론.

3. 역설 — 잘 쓴 사람 일수록 AI 로 몰린다

여기서 첫 번째 함정 이 나온다. RM-DETECT 의 한계 를 정직 하게 적어두면 이렇다:

보정 데이터 가 작다 (n=36).
격식 있는 사람 글 이 과잉 검출 된다.
문장 을 살짝 바꿔 쓰면(paraphrase) AI 점수 가 내려간다.

두 번째 가 특히 아프다. 다듬어진 논문 초록, 잘 정제된 보고서, 반듯한 공문 — 사람 이 공 들여 쓴 글일수록 균질 해지고, 균질 하면 AI 로 오인 된다. 판별기 의 눈 에는 “잘 쓴 사람” 과 “AI” 가 닮아 보인다.

그러니 이 도구 가 실제로 벌하는 대상 은 “AI 를 쓴 사람” 이 아니라 “고르게 쓰는 사람” 일 수 있다. 흔적 을 신호 로 삼는 순간, 그 흔적 을 우연히 가진 무고한 사람 이 걸린다. 모든 통계적 탐지 가 지는 원죄 다.

4. 창 과 방패 — 이길 수 없는 군비경쟁

더 근본적 인 문제 는 구조 다. 판별기(방패) 와 생성기(창) 는 같은 종류 의 모델 이다.

문장 을 바꿔 쓰거나 온도(temperature) 를 올리면 perplexity 신호 는 흐려진다.
모델 이 세대 를 거듭할수록 출력 이 덜 예측 가능 해지도록 학습 된다 — 즉 생성기 가 좋아진다는 건 방패 의 근거 가 스스로 무너진다는 뜻 이다.
판별기 를 공개 하면, 그 판별기 를 통과 하도록 생성기 를 튜닝 할 수 있다.

이건 노력 부족 이 아니라 원리 다. 사후 판별(post-hoc detection) 은 생성 이 좋아질수록 이론적 상한 이 낮아진다. GPT-2 시절 엔 잘 통하던 perplexity 탐지 가 지금 모델 앞에서 힘 을 잃는 이유 다.

방패 가 창 을 앞서는 순간 은 없다. 판별 은 따라잡는 게임 이지 이기는 게임 이 아니다.

5. 그래서 판별 은 “증거” 가 아니라 “확률” 이다

이 지점 에서 기술 은 윤리 로 넘어간다. RM-DETECT 의 README 마지막 줄 에 나 스스로 못 박아 둔 문장 이 있다:

“중대한 결정 의 단독 근거 로 쓰지 말 것.”

97.2% 는 나머지 2.8% 의 사람 을 억울 하게 만든다. 학생 의 과제, 지원자 의 자기소개서, 기자 의 기사 — 여기서 “AI 91%” 라는 숫자 하나 로 사람 을 처벌 하면, 그건 판별 의 실패 가 아니라 사용 의 실패 다.

확률 은 의사결정 을 대신 하지 않는다. 판별기 는 의심 의 시작점 이지 판결문 이 아니다. 이 도구 를 만든 사람 으로서 가장 하고 싶은 말 은 역설적 이게도 “너무 믿지 말라” 는 것 이다.

6. 진짜 질문 — “누가 썼나” 보다 앞서는 것

한 발 물러서면, 우리 가 정말 답 해야 할 질문 은 판별 가능성 이 아닐지도 모른다.

사후 판별 이 원리상 지는 게임 이라면, 신뢰 의 무게중심 은 출처(provenance) 로 옮겨간다 — 생성 시점 에 남기는 워터마크, 서명, 편집 이력 같은 것. “이 글 이 AI 냄새 가 나나” 를 뒤에서 추측 하는 대신, “이 글 이 어디서 어떻게 왔나” 를 앞에서 기록 하는 쪽 이 구조적 으로 더 강하다. 백엔드 에서 사후 리뷰 보다 파이프라인 검증 이 강한 것 과 같은 이치 다.

그리고 더 멀리 보면, 어쩌면 질문 자체 가 녹는다. 균질함 이 흔적 이 되는 세계 에서, 우리 가 지켜야 할 건 “AI 를 색출 하는 능력” 이 아니라 사람 만이 내는 불규칙함 — 관점, 편향, 튀는 리듬 — 을 계속 내는 능력 일 수도 있다. 판별 이 어려워지는 시대 의 답 은 더 좋은 탐지기 가 아니라, 더 사람 다운 글 인지 도 모른다.

판별기 를 만들며 배운 건 판별 하는 법 이 아니었다. 무엇 이 글 을 사람 의 것 으로 만드는가 였다. 답 은 정연함 이 아니라 고르지 못함 — 예측 을 배신 하는 그 한 문장 — 에 있었다.

기계 는 가장 그럴듯한 다음 단어 를 고른다. 사람 은, 가끔, 그러지 않는다. 그 “가끔” 이 우리 다.