AI로 생성한 글이 이해하기 어려운 이유를 분석한 연구를 소개합니다. #167 위클리 딥 다이브 | 2026년 10월 28일 에디터 배니 |
|
|
💡 이번주 뉴스레터에는 이런 내용을 담았어요!
|
|
|
안녕하세요, 에디터 배니입니다.
최근 흥미로운 연구가 바이럴되고 있습니다. AI가 쓴 글은 왜 이해하기 어려울까? (🔗 링크) 제목을 읽자마자 크게 공감했습니다. 분명 평이하게 작성된 한국어 문장인데도 유독 AI가 쓴 글은 읽기가 싫습니다. 글을 읽다가 AI 말투가 느껴지는 순간 집중력이 확 흐려지기도 하고요. 다행히 저만 그렇게 느낀 것이 아니었습니다.
심지어 최근에는 AI라서 읽지 않겠다는 신조어, AI;DR도 생겼습니다. 너무 길어서 요약한다는 의미로 사용하는 TL;DR(Too Long; Didn’t Read)를 패러디한 것입니다. 요약하겠다는 것도 아니고, 그냥 읽지 않겠다는 의미라는 차이가 있기는 하지만요. 이런 흐름을 보면 한국어 모델이 유독 어색한 게 문제가 아니라, 언어를 가리지 않고 나타나는 현상 같습니다.
그렇다면 왜 AI가 쓴 글은 읽기 싫은 걸까요? 일반적으로 사람이 쓰는 글과 어떻게 다를까요? 이번 뉴스레터에서는 AI 글의 특징에 대해 심층적으로 분석한 연구 <Why is AI-generated language so hard to understand?>를 소개합니다. |
|
|
AI 모델이 사용자에게 쉽게 동조한다는 사실은 이제 너무 많이 알려졌습니다. 특유의 말투로 사용자에게 무조건 동의하는 AI 모델이 밈처럼 소비되기도 했었죠. 별것 아닌 말에도 ‘**핵심**을 찔렀’다며 아부 떠는 AI 때문에 오히려 사용자가 당황하기도 했습니다.
여전히 AI 모델은 친절하고 사용자에게 깍듯이 대하지만 특유의 말투는 많이 사라졌습니다. 과한 친절은 사용자에게 아첨하듯 느껴지고, 역설적으로 거리감을 느끼게 만듭니다. 이런 현상은 사람을 대할 때도 마찬가지입니다. 상대가 과하게 친절하면 왠지 친해지고 싶지 않습니다.
사회심리학에서는 이 현상을 꽤 오래전부터 설명해 왔습니다. 1960년대 사회심리학자 에드워드 존스(Edward E. Jones)는 칭찬으로 호감을 사려는 것 같다고 느끼는 순간, 칭찬받는 사람은 그 말을 그대로 받아들이지 않는다고 말합니다. 친절한 답변에도 불쾌했던 것은 아마도 개인의 문제는 아니었을 것입니다. 곧 이 친절함은 폐기됐습니다. 논란의 대상이었던 GPT-4o는 다시 이전 상태로 되돌아갔고, OpenAI에서도 공식적으로 이 현상을 ‘아첨(Sycophancy)’ 문제로 보고 그 이유를 분석하기도 했습니다.
|
|
|
그 자리를 대신한 것은 정보였습니다. 공감하던 AI에서 감정 없이 정보를 나열하는 비서가 된 것입니다. 대화하듯 말을 건네기보다도, 장황하게 답하기 시작했습니다. 아무리 간결하게 제공해달라고 해도, 핵심을 뽑아내는 것이 아니라 중요하다고 보이는 것을 모두 나열해놓습니다. 안타깝게도 이 결과는 ‘인간의 피드백’을 반영한 결과입니다. 지시 모델(Instruct Model)의 기저에는 강화학습인 RLHF(Reinforcement Learning from Human Feedback)가 자리하고 있기 때문입니다. 개발자들은 공감이 아닌, 긴 글에도 정보량이 압축적으로 담긴 답변을 선호한다고 답하기 시작한 것이죠.
정보량이 많으면 당연히 글을 읽기 부담스럽습니다. 법조문이나 수능 시험의 독서 지문들이 한글로 쓰여 있는데도 읽기 어려운 이유입니다. 낯선 단어가 쏟아지면 의식적으로 생각하면서 읽어야 하고 흐름을 놓쳐서는 안 됩니다. 심리언어학에서는 글을 어렵게 만드는 요소들을 오랫동안 분석해왔습니다. 대표적으로 예측하기 어려운 단어를 처리할 때나, 의존적인 단어 사이의 거리가 멀거나, 한 번에 기억할 수 있는 정보가 포화될 때 글을 이해하기 어렵습니다. 쉬운 단어로 간명하게 쓴 문장이 좋은 문장이라는 말이 괜히 있는 것이 아닙니다.
LLM이 긴 호흡으로 정보를 나열할 수 있는 것은, 반대로 말하면 그만큼 많은 정보를 한 번에 흡수할 수 있다는 것입니다. 그리고 사실 LLM은 그러도록 진화해왔습니다. 저희 뉴스레터에서도 몇 차례 다뤘던 Long-context를 기억하시나요? Attention 메커니즘은 긴 문맥 속에서도 중요한 정보를 발굴할 수 있도록 구조화돼 있습니다. 500쪽이 넘는 책을 읽어도, 2시간이 넘는 영화를 봐도 한 문장으로 작품의 인상을 표현하는 인간과는 정반대의 구조를 가지고 있는 것이죠.
지난 21일, 뉴욕대와 텍사스대 오스틴 공동 연구진은 AI 글이 왜 어려운지 분석한 연구, <Why is AI-generated language so hard to understand?>를 공개했습니다. 연구의 가설은 크게 두 가지입니다. 첫째로 프런티어 LLM은 상대적으로 어려운 언어를 더 많이 사용하고, 둘째로 글에 ‘정보 밀도(Information Density)’를 높이도록 학습되면서 일반적으로 인간이 사용하는 표현과 다른 문장을 생성한다는 것입니다.
|
|
|
첫 번째 가설을 검증하기 위해 연구진은 프런티어 LLM이 쓴 문장으로 왕복 번역 실험을 진행했습니다. 원문을 다른 언어로 번역했다가 다시 원문의 언어로 번역하고, 입력한 원문과 번역된 원문이 어떻게 다른지 비교한 것입니다. Claude, GPT 시리즈와 같은 상용 모델과 Kimi, GLM과 같은 오픈 웨이트 모델을 포함해 총 14개의 모델을 실험 대상으로 삼았는데요. 이 모델들이 생성한 영어 문장을 입력해 일본어로 번역한 뒤 다시 영어로 번역한 문장을 원문과 비교했습니다.
번역에 사용한 모델 NLLB는 Meta에서 발표한 번역 전용 모델로, 이 실험에서는 입력된 문장을 왕복 번역하며는 데 쓰이며 문장을 평이하게 만들어주는 역할을 합니다. 한국어로 예를 들어 보면, “I’m starving”이라는 문장을 “나는 매우 배고프다”로 번역하고 다시 “I’m very hungry”로 번역하는 과정이라고 생각하면 됩니다. 이 과정에서 문장의 변화가 크다면 입력 문장은 모델 고유의 말로 쓰였다고 본 것입니다. |
|
|
실험 결과, 소형 모델보다 프런티어급 모델에서 생성한 원문이 번역본과 차이가 더 큰 것으로 나타났는데요. 그만큼 프런티어 모델이 어려운 표현을 많이 사용하고 있다는 의미입니다. 연구진은 어려운 문체의 대표적인 특징이 1) 낯선 단어의 조합 2) 명사의 동사화 3) 사물을 의인화하는 무생물 주어라고 밝혔습니다.
일례로, “Reader-patience Budget”을 들 수 있습니다. 한국어로 해석해도 낯선 조합입니다. ‘독자의 인지 예산’인데, 어떤 맥락에서 사용한 표현인지 이해는 가지만 직관적으로 이해되기보다 한 번 더 생각을 거쳐야 합니다. 그밖에 ‘문제를 가시화하다’ 같이 명사를 동사로 재사용하거나, ‘데이터가 말해 준다’와 같이 무생물 주어를 사용하는 예가 있습니다. AI를 사용하면서 한 번쯤은 들어본 표현이라 낯설지 않습니다.
위 결과에서 볼 수 있듯이, Claude 모델 중 하나인 Opus 5가 가장 특징적인 표현을 사용한다고 하는데요. 위 분석은 영어에 해당하는 것이지만 한국어도 크게 다르지 않은 듯합니다. 개인적인 경험이지만 Claude를 사용하면서 생소한 단어를 보고 ‘오타가 아닌가?’ 싶었는데 그저 저의 무지의 소치였습니다.
|
|
|
두 번째 가설을 검증하기 위해 연구진은 소형 언어 모델을 직접 학습하여 비교했습니다. 정확히는 사후 학습(Post-training)에 해당하는데, Qwen2.5 1.5B 모델을 학습시키면서 지시사항으로 간단한 정보를 나열하고 이를 문장으로 만들도록 한 것입니다. |
|
|
위 그림의 예시처럼, 연구진은 ‘주제: 사진, 주체: 남자, 현상: 보내다, 대상: 우리’라고 주고 문장을 만들도록 학습시켰습니다. 이때 길이 페널티(Length Penalty)를 부여한 학습과 그렇지 않은 학습을 비교했는데요. 길이 페널티를 부여한 경우, 답이 길수록 보상을 줄여서 짧은 문장을 작성하도록 유도한 것입니다.
영어는 똑같은 뜻을 가지고 있어도 문장 내에 대상의 위치에 따라 표현이 달라집니다. 학창시절에 많이 배웠던 3형식, 4형식 문장들을 떠올려보면 이해가 쉬울 것입니다. 길이 페널티를 많이 부여할수록 최대한 압축적으로 글을 작성하려고 할 것입니다. 한 토큰이라도 줄여야 더 큰 보상을 받을 수 있기 때문입니다. 연구진은 이 과정에서 모델이 같은 뜻을 더 함축적으로 표현한다고 봅니다. 그러면서 모델은 생략할 수 있는 표현은 쓰지 않거나, 더 낯선 표현을 사용하게 되고요.
그럼 모델에 왜 길이 페널티를 부여할까요? 사실 프런티어 모델에 모두 길이 페널티를 부여하는지 알 수는 없습니다. 그러나 페널티를 부여하지 않으면, 답이 점점 길어지는 경향이 있습니다. 이전 뉴스레터에 소개한 Overthinking 문제와 같은 맥락입니다. 또한 명시적으로 페널티를 부여하지 않더라도, 출력 길이 자체에 어느 정도 제약이 있습니다. 어느 쪽으로든 길게 쓰고 싶어도 줄여야 하는 압력을 받는 것과 유사한 상태라고 볼 수 있습니다. 결과적으로 짧은 문장 안에 정보를 욱여넣으면서 정보의 밀도는 올라가고, 글은 읽기 더 어려워지죠.
|
|
|
이 연구는 많은 독자들의 공감을 샀습니다. 이미 해외에서도 Claude 스타일의 말투를 ‘Claudish’라고 칭하고 있고, AI로 쓴 글을 읽기 싫다는 포스트가 많이 올라왔습니다. 하지만 이미 편리함에 빠져버린 시대의 흐름을 막기는 어렵습니다. 영미권에서는 AI 사용을 줄이는 대신, AI 특유의 표현을 줄이는 방법이 공유되며 이런 스킬이 인기를 끌었는데요. 이를 모티브로 한국에서도 비슷한 스킬이 공개됐습니다. |
|
|
이른바 ‘im-not-ai’로 불리는데요. 영어 번역투를 고치거나, 특유의 문장 구조를 없애는 방식으로 ‘AI 티’를 벗겨냅니다. 몇 개 예시를 살펴보면 다음과 같습니다.
- AI 특유의 관용구인 “결론적으로”, “시사하는 바가 크다”, “혁신적인” …
- 접속사 남발 “또한/따라서/즉/나아가”
- 형식명사 과다 "것이다", "점", "수", "바", "~할 필요가 있다”
그러나 이런 스킬은 임시방편에 불과합니다. 결국 근본적으로 AI가 지향하는 문장 구조와 인간의 소통 방식이 많이 다르기 때문입니다. ‘생년월일을 입력하면 운세를 봐주는 사이트’를 만들어 달라고 하면 아마도 AI는 대문에 이렇게 쓸 것입니다.
|
|
|
생년월일을 입력하면 당신의 운세를 결정합니다. |
|
|
AI는 본질적으로 논리적이고 동시에 설명적입니다. 하나의 모델이 코드, 수학, 번역, 언어 이해 등 전체 분야를 아우르기 때문에 소통보다도 정보 전달에 목적을 두고 있습니다. 모델은 사람이 잘 알아듣도록 학습하는 것이 아니라, 정답을 맞히도록 학습합니다. 이 과정에서 문장 내 불필요하게 많은 기호가 생겨나고, 과하게 구조화가 일어납니다. AI가 생성한 긴 글은 책을 읽듯이 읽는 게 아니라 마치 의도를 해석하듯이 읽어야 하죠. |
|
|
<Weekly deep daiv.>는 AI를 사용해 글을 작성하지 않는다는 철칙을 가지고 있습니다. 일부분에는 AI의 의견이 들어갈 수 있지만, 최대한 에디터의 말로 다시 한 번 감싸서 글을 작성하도록 권유하고 있는데요. 감사하게도 많은 분들이 이런 노력을 알아봐주시는 것 같습니다.
하지만 어느 순간부터 AI의 작문에 익숙해지면서 제 문체에 ‘AI 티’가 묻어나는 건가 싶기도 합니다. 그래서 직접 쓴 글인데도, ‘AI스럽다’고 느껴지면 일부러 수정하기도 합니다. 정말 미묘한 차이지만 아마 독자 여러분도 느낄 수 있을 거라고 생각합니다.
아직은 AI가 인간의 글만큼의 감동을 주지는 않는다고 생각합니다. 혹여 그런 글을 작성했다고 해도, AI 그 자체보다도 그것을 선별한 사람의 혜안 덕분이라고 생각하게 되고요. 그러나 분명히 AI가 정말 인간처럼 글을 쓰는 날이 올 것입니다. 아니, 오히려 인간이 경계를 구분하지 못하는 날이 먼저 올 수도 있죠. AI 네이티브 시대에 AI 슬롭(AI Slop)들에 가려져 진짜 인간의 글을 읽는 감각 자체를 잃어버릴 수도 있기 때문입니다.
이미 많은 정보글들이 AI로 대체되고 있습니다. 과거에는 AI가 인간이 작성한 글을 찾아서 작성했지만, AI 글이 범람하는 요즘은 AI가 쓴 글을 레퍼런스 삼아 AI가 글을 재생산합니다. 마치 인간의 유전자를 잃어버리고 있는 것처럼 보입니다. 디스토피아적 상상을 한다면 앞으로 ‘이 글은 AI가 썼다’는 제목보다 ‘이 글은 사람이 썼다’는 제목에 더 흥미가 갈지도 모르겠습니다. |
|
|
딥 다이브 뉴스레터 잘 보고 계신가요? 여러분의 의견과 피드백을 받습니다 :) |
|
|
deep daiv.
manager@deepdaiv.com
|
|
|
|
|