AI 티 탐지 분류 체계 설계

AI · LLM4분 읽기

윤문 도구를 만들 때 가장 먼저 부딪히는 벽은 정작 코드가 아닙니다. "AI가 쓴 티"라는 것을 사람은 직관으로 알아채지만 그 직관을 기계가 다룰 수 있는 기준으로 옮기지 않으면 아무것도 시작되지 않습니다. 무엇이 티인지 정의되지 않은 상태에서 문장을 재작성하면, 그저 다르게 어색한 글이 나올 뿐입니다. 그래서 한글 AI 티 제거 하네스는 도구보다 분류 체계를 먼저 세웠습니다.

티는 하나가 아니라 열 갈래다

AI 글의 위화감은 한 가지 원인에서 오지 않습니다. 관찰된 신호를 성격별로 묶으니 크게 열 갈래로 정리됐습니다. 번역투, 영어 인용과 용어 과다, 기계적 병렬 같은 구조적 서식 패턴, "결론적으로 시사하는 바가 크다" 같은 AI 특유 관용구, 문장 길이가 고르게 균일한 리듬, 수식과 중복, 완곡한 표현의 남용, 문두 접속사 남발, 형식명사 과다, 볼드와 대시 같은 시각 장식 남용입니다.

이 열 갈래에 A부터 J까지 이름을 붙이고 그 아래 60여 개의 세부 패턴을 두었습니다. 예를 들어 번역투 분류에는 "~를 통해", "~에 있어서", 이중 피동 "~되어진다", "가지고 있다" 같은 구체적인 신호가 각각 별도 항목으로 들어갑니다. 분류가 이렇게 잘게 쪼개져 있어야, 윤문이 "글을 통째로 다시 쓰기"가 아니라 "이 신호를 이 처방으로 고치기"라는 국소 수술이 됩니다.

모든 티가 똑같이 나쁘지는 않다

패턴을 나열하는 것만으로는 부족했습니다. 어떤 신호는 한 번만 나와도 AI라고 확신하게 되는 반면, 어떤 신호는 다른 것과 겹칠 때만 거슬립니다. 그래서 각 패턴에 심각도를 세 단계로 매겼습니다.

S1은 결정적입니다. 한 번만 등장해도 AI 글이라는 판단이 서는 신호로, 무조건 제거 대상입니다. S2는 강한 신호로, 한두 번은 허용하되 반복되면 손봅니다. S3은 약한 신호여서 단독으로는 문제 삼지 않고 다른 패턴과 중첩될 때만 다룹니다. 이 등급이 있어야 윤문의 강도를 조절할 수 있습니다. 보수적으로 가야 하는 글에서는 S1만 제거하고 적극적으로 다듬어야 하는 글에서는 S2까지 손대는 식입니다.

심각도는 과윤문을 막는 안전장치이기도 합니다. 모든 신호를 똑같이 강하게 제거하면 원문의 개성까지 지워집니다. 결정적인 것만 반드시 없애고 약한 것은 맥락에 맡기는 편이, 자연스러움과 원문 보존 사이의 균형을 잡는 데 유리했습니다.

분류는 코드가 아니라 문서로 관리한다

이 체계에서 가장 중요한 설계 결정은 분류표를 코드에 하드코딩하지 않은 것입니다. 대신 저장소 안에 분류표와 처방 플레이북을 문서로 두고 그 문서를 단일 진실 공급원(SSOT)으로 삼았습니다. 탐지 에이전트도, 윤문 에이전트도 같은 문서를 참조합니다.

이렇게 한 이유는 분류 체계가 살아 있는 지식이기 때문입니다. 실전에서 돌리다 보면 기존 분류에 안 잡히는 새로운 티가 발견됩니다. 그때 코드를 고쳐 배포하는 대신, 문서에 항목을 추가하고 심사를 거쳐 버전으로 승격합니다. 실제로 이 체계는 한국 번역학계의 번역투 유형 연구와 기계번역 이후 문체 연구를 근거로 삼아 판을 거듭하며 확장돼 왔습니다. 학술 인용을 항목마다 붙여 두어, 왜 이것이 티인지 그 근거가 도구 안에 남아 있습니다.

원칙 하나를 덧붙이자면, "우리 데이터에서 검증되지 않은 패턴은 본진에 넣지 않는다"였습니다. 이론적으로 그럴듯해도 실제 글에서 결정타가 없는 신호는 보류 항목으로 따로 빼 두었습니다. 분류표가 학술 카탈로그가 아니라 실전 탐지 규칙이려면, 항목 하나하나가 실제 글에서 값을 해야 했습니다.

이 분류 체계가 실제 윤문 파이프라인 안에서 어떻게 쓰이는지는 윤문 하네스의 에이전트 파이프라인에서, 이 체계의 뿌리인 한국어 번역투 문제는 한국어 번역투가 AI 티의 핵심인 이유에서 이어집니다. 전체 도구의 설계는 한글 AI 티 탐지·윤문 오픈소스 툴 사례에서 볼 수 있습니다.

자주 묻는 질문

AI 티를 왜 굳이 분류까지 하나요?

분류가 있어야 윤문이 근거를 갖기 때문입니다. "왠지 어색하다"는 느낌만으로 문장을 고치면 무엇을 왜 바꿨는지 설명할 수 없고 원문 훼손을 통제하기도 어렵습니다. 신호를 분류하고 심각도를 매기면, 탐지된 항목에만 국소적으로 손대고 나머지는 건드리지 않는 규율이 생깁니다.

심각도 S1, S2, S3은 어떻게 나누나요?

한 번만 나와도 AI라고 확신하게 되는 신호가 S1이고 한두 번은 괜찮지만 반복되면 티가 나는 신호가 S2이며 단독으로는 문제없고 다른 패턴과 겹칠 때만 거슬리는 신호가 S3입니다. 이 등급으로 윤문 강도를 조절해 보수적으로는 S1만 적극적으로는 S2까지 제거합니다.

분류 체계는 고정된 건가요?

아니요. 코드가 아니라 문서로 관리해 계속 자랍니다. 실전에서 새 패턴이 발견되면 심사를 거쳐 버전으로 승격하고 검증되지 않은 패턴은 보류 항목으로 따로 둡니다. 항목마다 학술 근거를 붙여, 왜 이것이 AI 티인지 그 판단 기준까지 함께 공개했습니다.

#AI탐지#분류체계#번역투#윤문

업무자동화 구축이 필요하신가요?

무료 상담 신청