코딩 에이전트에게 버그 수정을 맡기고 돌아오면 화면 한쪽에 작업 요약이 한 문단 붙어 있다. 그중 한 줄이 “is_file() swallows that and returns False”다. 모르는 단어는 하나도 없는데 눈길이 문장 위에서 멈춘다. 함수가 무엇을 ‘삼킨다(swallows)’는 건지, 대명사 that이 앞 문장의 어디를 가리키는지 다시 거슬러 올라가 확인한 뒤에야 발생한 예외를 조용히 무시하고 False를 돌려준다는 뜻임을 알아챈다. 이런 문장이 화면 가득 이어지면 내용이 어렵지 않은데도 읽는 데 유독 진이 빠진다.
그렇다고 문법이 틀렸거나 틀린 말이 섞인 것도 아니어서 딱히 불평할 거리도 없다. 답답한 마음에 모델에게 “더 쉽게 써 달라”고 시켜 봐도 문장 수만 길어질 뿐 묘하게 빽빽하고 압축된 말투는 그대로 남는다. 결국 대개는 AI 말투가 원래 그렇다고 여기고 넘어간다.
토머스 히카루 클라크, 마티아스 마틴, 카일 마호월드가 2026년 10월 21일 arXiv에 공개한 논문 「Why is AI-generated language so hard to understand?」는 이 막연한 피로감을 숫자로 측정한 연구다. 사람이 문장을 읽고 이해하는 과정을 실험으로 연구하는 심리언어학 분야에서 ‘독해 속도를 늦춘다’고 밝혀진 문장 특징 여섯 가지를 골라 AI 글과 사람 글에 각각 얼마나 자주 나타나는지 세어 본 것이다. 측정 결과는 뚜렷했고 그 버릇이 어디서 비롯되었는지 추적한 실험은 한결 더 흥미롭다.
사물이 삼키고 물어뜯는 문장
가장 먼저 눈에 띄는 특징은 무생물 주어 뒤에 사람이나 동물에게 어울리는 생물 동사를 붙이는 버릇이다. 앞의 예문에서는 함수 is_file()이 예외를 ‘삼키고’ 다른 예문에서는 비대칭성(asymmetry)이 사람을 ‘문다(bites)’고 표현한다. 사람은 문장을 읽을 때 주어가 살아 있는 존재인지를 단서로 삼아 뒤에 올 동사를 미리 예측한다. 그런데 사물 주어 뒤에 생물 동사가 불쑥 나오면 예측이 어긋나면서 문장을 처음부터 다시 분석해야 한다. 뇌파 실험에서도 이런 문장을 만났을 때 뇌가 구문을 재분석하느라 ‘P600’이라는 지연 반응을 보이는 현상이 오래전부터 확인되어 왔다.
독자의 예측을 늦추는 또 다른 요인은 ‘낯선 단어 조합’과 길어진 ‘의존 거리’다. 대량의 실제 글을 모은 참고 말뭉치에 한 번도 나오지 않는 희귀한 두 단어 짝이 1,000쌍당 몇 개인지 세어 보면 AI 글에서 유독 높은 수치가 나온다. 다음 단어를 예측하기 어려울수록 읽는 시간이 길어진다는 건 잘 알려진 사실이다. 여기에 문법으로 짝을 이루는 주어와 동사 사이에 수식어가 길게 끼어드는 ‘의존 거리’ 문제까지 겹친다. “The guitar sitting in the corner because you’re still ‘deciding’ teaches you zero chords”라는 문장에서는 주어 guitar 뒤에 여덟 단어가 끼어 있어 동사 teaches가 나올 때까지 독자가 주어를 머릿속에 계속 붙들고 있어야 한다.
남은 세 가지는 짧은 공간에 많은 뜻을 우겨 넣을 때 나타나는 압축 구문들이다. 명사를 셋 이상 연달아 붙인 복합 명사구, 명사를 즉석에서 동사처럼 쓰는 표현, 목적격 관계대명사 that을 생략한 관계절이다. 논문 첫머리에 실린 reader-patience budget처럼 명사가 줄지어 서면 어디서 끊어 읽을지 헷갈리고 footnote it(각주를 달다)이나 calendar it(일정에 넣다) 같은 표현은 뜻을 머릿속에서 한 번 더 풀어야 한다. 관계절을 이끄는 that 역시 문법상 빼도 되지만 막상 생략하면 독자가 문장 구조를 한눈에 파악하도록 돕는 표지 하나가 사라진다.
일본어로 갔다 돌아오면 사라지는 표현
이 여섯 가지 특징이 실제 AI 글에 얼마나 자주 나오는지 보려고 세 가지 영역에서 데이터를 모았다. 일상 대화는 열 가지 주제로 최대 12턴까지 대화를 이어 가게 했고 상대역은 Claude Sonnet 4.6이 맡았다. 이렇게 모은 대화 120건(답변 1,428개)을 영화 자막 말뭉치 OpenSubtitles와 견줬다. 코딩은 오픈소스 저장소 다섯 곳의 버그를 찾아 고치게 한 뒤 StackExchange 답변과 비교했고 에세이는 PERSUADE 2.0의 작문 과제 일곱 개를 모델마다 열 번씩 쓰게 한 뒤 미국 6~12학년 학생 글 중 우수 답안(5~6점) 2,934편과 나란히 놓았다.
물론 영화 대사와 AI 답변은 다루는 내용과 정보량부터 달라서 사람 글과 단순 비교하는 것만으로는 부족하다. AI가 더 복잡한 내용을 설명하느라 어쩔 수 없이 어려운 구문을 썼을 수도 있기 때문이다. 이 빈틈을 메우려고 고안한 두 번째 기준이 ‘왕복 번역(round-trip translation)’이다. AI가 쓴 영어 문장을 번역 모델 NLLB-200(3.3B)으로 일본어로 옮겼다가 다시 영어로 되돌려 비교용 쌍둥이 문장을 만들었다. 영어와 어순이 먼 언어를 거칠수록 원래 문장의 겉표현이 자연스럽게 풀어진다는 점을 노려 일본어를 경유지로 골랐다.
이 장치가 확인하려는 논리는 명쾌하다. 왕복 번역을 거친 뒤에도 문장의 핵심 뜻은 그대로인데 여섯 가지 특징의 빈도가 뚝 떨어진다면 같은 뜻을 훨씬 평범하게 말할 방법이 있었는데도 원래 모델이 굳이 그 압축 표현을 골랐다는 증거가 된다. 결과가 일본어나 특정 번역 모델 때문에 생긴 착시인지 확인하려고 러시아어를 거치거나 번역 모델을 TranslateGemma(4B)로 바꾼 교차 실험도 함께 돌렸다.
상위 모델 아홉 개에서 공통으로 나온 버릇
실험에 쓴 모델은 모두 열네 개다. Claude Sonnet 5, Opus 5, Opus 5.5, Fable 5, GPT-5.6 계열 세 모델(Sol·Terra·Luna), Kimi K2.5, GLM 5까지 상위 모델 아홉 개를 모았고 학습 단계별 변화를 비교하려고 소형 모델인 Llama 3.1 8B와 Olmo 3 7B의 세부 버전들을 더했다. 사람 글과 비교한 결과는 놀라울 만큼 일관적이었다. 상위 모델 아홉 개는 단 하나의 예외도 없이 사람보다 무생물 주어에 생물 동사를 더 많이 붙였고 낯선 단어 조합도 훨씬 자주 썼다. 대화 영역에서는 대다수 모델이 의존 거리를 길게 늘였고 명사를 더 쌓았으며 that 없는 관계절도 남발했다.
왕복 번역본과 대조해도 방향은 같았다. 거의 모든 상위 모델에서 원래 문장이 번역을 거친 문장보다 낯선 단어 짝이 많았고 that을 뺀 관계절은 과도하게 많이 쓰면서 that을 살려 둔 관계절은 지나치게 아꼈다. 다만 처음부터 긴 호흡으로 쓰는 에세이에서는 번역 전후 차이가 비교적 작았다. 의존 거리는 번역 뒤에도 비슷하거나 조금 길어졌고 명사 쌓기도 두 모델에서만 유의미하게 달라졌으니 평소 짧게 주고받는 대화창이나 코딩 요약문에서 압축 버릇이 훨씬 강하게 드러난 셈이다.
그렇다면 모델들은 언제부터 이런 말투를 배웠을까. 실마리는 작은 모델 비교에서 나왔다. 기본 학습만 마친 Olmo 3 7B Base와 지시 따르기 훈련만 거친 Instruct, 그리고 Llama 3.1 두 버전은 번역 전후 차이가 가장 작았다. 그런데 똑같은 Olmo 3 7B에 추론 훈련을 더한 ‘Think’ 버전으로 넘어가자 상위 모델들과 판박이처럼 읽기 어려운 특징들이 급증했다. Base에서 Instruct를 거쳐 Think로 후속 학습이 깊어질수록 문장이 빽빽해지는 계단이 드러난 것이다. 반대로 같은 제품군 안에서 나아진 사례도 있었다. Claude Opus 5.5는 전체 21개 비교 항목 가운데 19개에서 직전 모델인 Opus 5보다 수치가 일제히 낮아져 후속 학습 설계에 따라 이 버릇을 교정할 수 있음을 보여 주었다.
짧게 쓸수록 점수를 주자 생긴 일
사람의 말은 오랫동안 말하는 이의 편리함과 듣는 이의 이해 부담 사이에서 균형을 맞추며 다듬어져 왔다. 듣는 사람이 한 번에 못 알아듣고 되물으면 말하는 사람도 손해를 보기 때문이다. 반면 오늘날 언어 모델이 후속 학습에서 받는 압력은 전혀 다르다. 수학, 코딩, 추론 문제로 강화학습을 할 때 보상은 오직 ‘정답을 맞혔는가’에만 걸릴 뿐 문장이 사람 눈에 얼마나 잘 읽히는지는 채점하지 않는다. 여기에 한 번에 다룰 수 있는 문맥 길이 제한이나 토큰 절약 압력이 겹치면 적은 토큰에 많은 정보를 밀어 넣는 ‘정보 압축’이 유리해진다.
이 가설을 확인하려고 소규모 실험을 따로 설계했다. Qwen2.5-1.5B-Instruct에게 JSON으로 적힌 사건 정보를 영어 과거형 한 문장으로 바꾸게 하고 추론 모델 학습에 쓰이는 강화학습 기법인 GRPO로 훈련하면서 보상 함수에 ‘답이 길수록 점수를 깎는 길이 벌점’을 넣었다. 그리고 관계절의 that을 넣느냐 빼느냐처럼 뜻은 같고 길이만 한두 토큰 차이 나는 문장 구조 네 쌍의 선택 비율을 추적했다.
결과는 극적이었다. 벌점을 조금만 줘도 모든 실험에서 짧은 구문 쪽으로 선택이 쏠렸다. 원래 모델의 말투에서 너무 멀어지지 않게 붙잡는 안전장치(KL 항)를 끄자 관계절을 포함한 두 구조에서 that을 뺀 짧은 형태가 단숨에 98%를 넘었고 안전장치를 켜 두었을 때도 속도만 완만해졌을 뿐 방향은 같았다. 이 압축 버릇은 직접 학습시키지 않은 구조로도 번졌다. sure (that)이나 so (that)처럼 가까운 구조에서도 덩달아 that이 사라졌고 문법적으로 거리가 먼 소유격 표현에서도 the wheel of the car 대신 더 짧은 the car's wheel을 고르는 비율이 눈에 띄게 치솟았다.
보통 사람 피드백으로 하는 강화학습(RLHF)은 길고 친절한 답에 후한 점수를 주는 편이다. 따라서 지금 상위 모델들이 보이는 압축 말버릇은 인간 평가자의 취향보다 정답이 분명한 문제로 훈련하는 추론 학습 과정과 더 관련이 깊다. 물론 이 실험은 1.5B 모델 하나에서 길이 벌점이 문법 습관을 바꿀 수 있음을 보인 개념 증명일 뿐 상용 거대 모델들의 비공개 학습 과정을 직접 증명한 것은 아니다.
토큰을 아낀 대가는 읽는 사람이 치른다
이 연구가 남긴 한계도 있다. 영어 문장만 다뤘기 때문에 조사와 어미로 관계를 표시하는 한국어에서도 AI가 같은 방식으로 독해 부담을 늘리는지는 따로 확인해야 한다. 대화와 코딩 과제의 출발 주제가 열 개 안팎으로 많지 않다는 점도 감안해야 하며 상용 모델의 후속 학습 과정을 큰 규모로 직접 재현해 보기도 어렵다.
그럼에도 매일 AI가 쓴 요약문을 읽으며 느끼던 피로가 기분 탓만은 아니었다는 사실은 숫자로 분명히 확인되었다. 사물이 무언가를 삼키고 명사가 서너 개씩 붙어 다니며 that이 빠진 문장은 한 줄씩 떼어 보면 멀쩡하다. 하지만 그런 고밀도 문장이 화면 가득 이어지면 모델이 아낀 몇 개의 토큰 값을 결국 독자가 자기 머리로 풀어가며 치러야 한다. 모델은 토큰을 아껴 점수를 챙겼지만 그 압축을 풀어 읽는 수고는 고스란히 사람에게 넘어온 셈이다.
다행히 Opus 5.5가 Opus 5보다 거의 모든 항목에서 나아졌듯 이 버릇은 고칠 수 없는 불치병이 아니다. 모델이 효과적으로 소통하도록 보상 설계를 다듬을 여지가 충분하다. 그때까지 쓰는 쪽에서 당장 할 수 있는 일은 GeekNews 댓글의 조언처럼 초안을 먼저 뽑게 한 뒤 읽기 쉽게 고쳐 쓰는 단계를 분리하는 것이다. 이때 막연히 쉽게 쓰라고 하기보다 이 논문이 짚은 여섯 가지 특징을 점검 목록으로 건네면 모델도 어디를 풀어 써야 하는지 훨씬 정확하게 알아듣는다.
출처: Thomas Hikaru Clark, Matias B. Martin, Kyle Mahowald, Why is AI-generated language so hard to understand?, arXiv, 2026년 10월 21일. GeekNews 소개 글