AI의 '확인해볼게요'를 믿으시나요?

VLM 추론 시 나타나는 텍스트 관성을 소개하고 Chain-of-Thought의 한계에 대해 고찰했습니다.

2026. 7. 7.

#151 AI의 '확인해볼게요'를 믿으시나요?

이 메일이 잘 안보이시나요?

#151 위클리 딥 다이브 | 2026년 7월 8일
에디터 영이

💡 이번주 뉴스레터에는 이런 내용을 담았어요!

VLM이 Self-reflection을 수행할 때 실제로 이미지를 다시 보는지 확인하는 프레임워크인 VISUALSWAP을 소개했습니다.
VLM 추론에서 나타나는 텍스트 관성(Textual Inertia) 현상과 그 원인을 정리했습니다.
“더 많이 생각할수록 더 잘한다”는 CoT 패러다임의 근본적인 한계를 고찰했습니다.

AI의 '확인해볼게요'를 믿으시나요?

안녕하세요, 에디터 영이입니다.

"잠깐, 그림을 다시 확인해볼게요.”

이미지가 포함된 질문을 할 때, GPT나 Claude가 답변을 준비하며 이런 말을 종종 하는 것을 볼 수 있습니다. 이때, 모델이 정말로 이미지를 다시 확인하고 대답하는 걸까요? 아니면, 그냥 내뱉는 말일까요?

USC와 UCSD 연구팀의 <Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination> (Shi et al., 2026) 논문에서는 AI 모델이 실제로 추론 중에 이미지를 다시 확인하는지를 직접 따져보았습니다. 해당 논문은 이번 주 서울에서 열리고 있는 인공지능 분야 최고 권위 학회인 ICML 2026 Oral 발표 선정작으로, 전체 제출 논문 중 상위 1~2%에만 주어지는 자리입니다.

결론부터 말씀드리면, 모델은 이미지를 보지 않고 말만 하고 있었습니다. 어떻게 이를 밝혀냈는지 함께 살펴보겠습니다.

이미지를 바꿔치기하면 모델이 눈치챌까?

VLM(Vision-Language Model)은 이미지와 텍스트를 함께 이해하는 멀티모달 인공지능 모델입니다. GPT-5, Claude, Gemini 등 일상생활에서 자주 사용하는 AI 모델이 VLM에 속합니다. 최근에는 단순히 이미지를 보는 것을 넘어, 추론 과정(Chain-of-Thought)을 길게 생성하면서 스스로 검토하는 Thinking 모델이 주류를 이루고 있죠.

이러한 Thinking 모델은 추론 과정에서 스스로 답을 점검하는 Self-reflection을 자주 수행합니다. “잠깐, 그림을 다시 확인해볼게요”처럼 스스로 추론을 멈추고 재검토를 선언하는 것이 대표적인 예입니다. 실제로 연구진은 Thinking 모델이 생성하는 87~97%의 답변에서 이러한 Self-reflection이 자연적으로 등장한다는 점을 발견했습니다. 즉, 이 현상은 특수한 상황이 아니라 VLM이 추론할 때마다 일상적으로 일어나는 일인 셈이죠.

💡 Self-reflection 연구 더 알아보기

Self-reflection은 이 논문에서 처음 제안된 개념이 아닙니다. LLM 분야 연구에서는 이미 모델이 자신의 출력을 스스로 검토하고 수정하는 다양한 방법론이 제안되어 왔습니다. Self-Refine (Madaan et al., 2023)은 모델이 자신의 출력에 피드백을 반복적으로 적용해 개선하는 프레임워크를 제안했고, Reflexion (Shinn et al., 2023)은 언어적 반성을 통해 에이전트가 과거 실패를 학습하도록 했습니다. Chain-of-Thought (Wei et al., 2022) 추론이 확산되면서 Self-reflection은 자연스럽게 추론 과정의 일부로 자리잡았고, 이후 VLM에서도 OpenVLThinker, VL-Rethinker 같은 모델이 이를 시각적 추론에 적극 활용하고 있습니다.

그런데 이 Self-reflection이 실제로 시각 정보를 다시 처리하는 행동을 유발하는 것일까요, 아니면 그냥 학습 데이터에서 배운 텍스트 패턴을 따라가는 것일까요? 연구진은 이를 검증하기 위해 VISUALSWAP이라는 새로운 프레임워크를 도입했습니다.

VISUALSWAP의 구조. Self-reflection 발화 직후 이미지를 수정하고, 그 이후의 추론 과정을 통해 VLM이 실제로 시각 정보를 처리하는지 확인합니다.

출처: <Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination> (Shi et al., 2026)

실험은 두 단계로 진행됩니다. 먼저 모델에게 이미지 A와 질문을 주고 추론하게 합니다. 모델이 추론 과정에서 “다시 확인해볼게요”라는 Self-reflection을 수행하는 순간, 이미지 A 대신 그와 유사한 이미지 B로 바꿔치기합니다. 이후 모델이 계속 생성을 이어가도록 두고, 최종 답변이 A 기준인지 B 기준인지를 확인합니다. 모델이 정말 그림을 다시 확인하고 대답했다면 B에 맞는 답을 내야 하고, 말만 한 것이라면 A 기준 추론을 그대로 따라가겠죠.

VISUALSWAP에 사용한 이미지 데이터(VS-BENCH) 예시.

출처: <Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination> (Shi et al., 2026)

예를 들어, 모델에게 왼쪽 그림과 함께 “그림에서 각도 1이 60°일 때 각도 2를 구하시오”라는 문제를 주는 상황을 가정해봅시다. 모델은 60°를 기준으로 계산해 정답 B(60°)를 도출하고, “잠깐, 그림을 다시 확인해볼게요”라고 선언합니다. 바로 이 순간, 이미지를 각도 1이 50°로 바뀐 오른쪽 그림으로 교체합니다. 진짜로 모델이 그림을 다시 봤다면 50° 기준으로 다시 계산해야 하지만, 실제로 모델은 “각도 1이 60°이므로...”라는 이전 추론을 그대로 이어가며 틀린 답을 도출합니다.

어떻게 모델의 추론 도중에 이미지를 바꿔치기할 수 있을까요? 연구진은 이미지 A로 생성된 추론 체인(Chain)을 그대로 유지한 채 이미지만 B로 바꿔 전체 입력을 다시 넣는 방식을 사용했습니다. 덕분에 모델은 B의 시각 정보를 새로 처리하면서도 이전 추론의 맥락은 그대로 이어받게 됩니다.

이 프레임워크에서 사용할 이미지 A와 B는 겉보기엔 비슷하지만 정답은 달라야 합니다. 너무 다른 이미지를 사용하면 모델이 쉽게 눈치채버리고, 너무 비슷한 이미지를 사용하면 정답이 같아져 실험이 의미 없어지기 때문입니다. 연구팀은 이 조건을 만족하는 이미지 쌍 800개로 VS-BENCH라는 벤치마크 데이터를 구축했습니다. 이 벤치마크는 CLIP 유사도 0.95, 구조적 유사도 0.86으로 겉보기엔 거의 같지만, 사람에게 보여주면 차이를 100% 감지하는 이미지 쌍으로 구성되어 있습니다. 또한, 두 이미지의 난이도를 비슷하게 구성하여 이미지 차이에 따른 영향을 최소화하고자 했습니다.

💡 CLIP 유사도란?

CLIP은 OpenAI가 개발한 모델로, 이미지와 텍스트를 같은 벡터 공간에 표현합니다. CLIP 유사도는 두 이미지가 벡터 공간 상에서 의미적으로 얼마나 비슷한지를 0~1 사이의 수치로 나타낸 것입니다.

다시 보겠다고 했지만, 보지 않았다

연구진은 Qwen3-VL, Kimi-VL, ERNIE-VL 계열 총 15개 모델을 대상으로 VS-BENCH를 사용하여 실험을 진행했습니다. 결과는 놀라웠습니다.

15개 모델 전부 이미지 교체를 감지하는 데 실패했습니다. 모델들은 이미지가 바뀌었음에도 이전 추론 흐름을 그대로 따라가며 틀린 답을 내놓았습니다. 가장 극단적인 경우는 ERNIE-4.5-VL-Thinking입니다. 기본 정확도가 79.9%였던 반면, VISUALSWAP 조건에서는 19.6%로 무려 60%p 넘게 폭락했습니다. 모델이 “다시 확인하겠다”고 선언한 직후에도 바뀐 이미지를 전혀 인식하지 못한 경우가 다수였던 것입니다.

Thinking 모델과 일반 모델을 비교하면 어떨까요? 직관적으로는 더 신중하게 추론하는 모델이 더 잘 감지해야 할 것 같지만, 결과는 정반대였습니다. Qwen3-VL-32B 기준으로 Instruct 모델의 성능은 17.9%만 하락하였으나, Thinking 모델은 48.3% 하락했습니다. 이는 약 3배 차이입니다.

추론이 길수록 성능이 하락하며, Thinking 모델에서 이 경향이 특히 두드러집니다.

출처: <Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination> (Shi et al., 2026)

원인은 추론 체인의 길이에 있습니다. VLM은 초기 추론을 얼마나 많이 유지한 채로 이미지를 바꾸는지에 따라 성능이 하락하는 모습을 보였습니다. Thinking 모델은 추론 체인이 길수록 그 텍스트에 강하게 의존하여, 새로운 이미지가 들어와도 이전 맥락을 벗어나지 못합니다.

즉, 모델이 추론하며 생성한 텍스트와 그 맥락은 모델의 이후 답변 생성 과정에도 강하게 영향을 미치게 되어, 영향력이 적은 새로운 이미지 정보는 상대적으로 무시되는 경향이 생긴다는 것이죠. 연구진은 이를 텍스트 관성(Textual Inertia)이라고 표현했습니다.

그렇다면, 더 많은 파라미터를 가진 모델은 텍스트 관성을 극복할 수 있지 않을까요? 하지만 모델 파라미터를 키운 스케일링은 해결책이 되지 못했습니다. Qwen3-VL-8B-Thinking의 성능 하락 폭이 39.4%인 반면, 235B 모델은 오히려 54.6%로 더 심했습니다. 모델이 클수록 기본 정확도는 높아지지만, 그만큼 더 길고 정교한 추론 체인을 생성하기 때문에 텍스트 관성도 함께 강해지는 것입니다.

볼 수 있지만, 스스로 보지 않는다

실험 결과만 보면, VLM이 추론 도중 시각 정보를 처리하는 능력을 잃은 것으로 보입니다. 하지만 사용자가 직접 “이미지를 다시 확인해보세요”라고 지시하면 어떨까요?

결과는 놀라웠습니다. Qwen3-VL-235B-Thinking 기준으로 VISUALSWAP 조건에서 34.1%까지 떨어졌던 정확도가, 사용자의 지시 한 마디에 85.4%로 회복되었습니다. 이 결과를 통해 모델이 시각 능력 자체를 잃은 것이 아니라는 것을 증명할 수 있었습니다. 실제로 모델은 이미지를 볼 수는 있는데, 스스로 보겠다고 결정하는 메커니즘이 없었던 것입니다. 연구진은 이를 Capability(능력)의 문제가 아닌 Control(통제)의 문제라고 표현합니다.

그렇다면 왜 Self-reflection은 이미지를 시각적으로 재검토할 수 없게 만들까요? 원인을 파악하기 위해 연구진은 모델 내부의 Attention을 직접 측정했습니다. Self-reflection 발화 전후로 이미지 토큰에 얼마나 집중하는지를 비교한 결과, 모델이 “다시 확인할게요”라고 말할 때 이미지 토큰에 대한 Attention 변화량은 1.07에 불과했습니다. 반면 사용자가 명시적으로 지시했을 때는 동일한 맥락에서 변화량이 2.21로 두 배 이상 급등했습니다. 즉, VLM의 “다시 확인할게요”는 텍스트 패턴으로 생성될 뿐, 실제로 이미지를 다시 보는 행동을 유발하지 않습니다. 말은 하지만 보지는 않는다는 것이죠. 반면 사용자가 직접 지시를 내리면 모델은 이미지를 확인합니다. 동일한 맥락에서도 모델의 시각적 주의가 효과적으로 끌어올려지기 때문입니다.

Self-reflection(Probe) 조건에서는 이미지 토큰에 대한 Attention이 거의 변하지 않지만, 사용자 지시(Multi-turn) 직후 급등합니다.

출처: <Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination> (Shi et al., 2026)

더 근본적인 문제는 CoT 구조 자체에서 발생하는 텍스트 관성에 있습니다. 현재 CoT 패러다임은 텍스트 일관성을 우선시하도록 훈련되어 있기 때문입니다. 추론 체인이 길어질수록 모델은 이미지 토큰보다 자신이 생성한 텍스트 토큰에 더 강하게 묶이고, 새로운 시각 정보가 들어와도 이를 무시하게 됩니다.

연구진은 이를 직접 증명하는 실험도 진행했습니다. 이미지 토큰에 대한 Attention을 강제로 2배 증폭시켰더니, 추가 학습이나 파라미터 수정 없이도 Thinking 모델의 정확도가 36.6%에서 54.8%로 상승했습니다. Attention만 조절해도 성능이 회복된다는 것은, 문제가 시각 능력이 아니라 Attention을 조절하는 능력에 있다는 직접적인 증거입니다.

연구진이 논문을 통해 전달하고자 하는 바는 명확합니다. VLM의 Self-reflection을 신뢰해서는 안 된다는 것입니다. 모델이 "다시 확인했다"라고 말하더라도, 실제로 이미지를 다시 처리했다는 보장이 없습니다. 만약 이미지 기반 작업에서 VLM의 검토가 필요하다면, 모델에게 맡기는 것보다 사용자가 직접 명시적으로 재확인을 요청하는 것이 훨씬 효과적입니다.

더 나아가, 이 논문은 CoT 패러다임 자체에 근본적인 질문을 던집니다. 지금까지 CoT는 “더 많이 생각할수록 더 잘한다”는 가정 위에서 발전해왔습니다. 하지만 이 연구는 적어도 멀티모달 추론에서는 그 가정이 틀릴 수 있음을 보여줍니다. 텍스트 일관성을 우선시하도록 훈련된 CoT 구조가 오히려 시각 정보를 억압하고, 더 오래 생각할수록 이미지 신호를 무시하는 아이러니한 결과를 낳은 것입니다. Thinking 모델의 시대에, “더 많이 생각하는 것”이 항상 더 좋은 것인지 다시 생각해보아야 할 시점입니다.