두 축은 따로 놀지 않습니다.

💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• 이미지 이해와 생성을 하나의 모델로 통합하려는 Unified Multimodal Model(UMM)의 등장 배경을 살펴봅니다.

• 기존 자기회귀 기반 UMM에서 이미지와 텍스트의 학습 신호가 충돌하는 이유와, 충돌이 주로 발생하는 위치를 알아봅니다.
• 이미지와 텍스트를 하나의 모델에 완전히 통합하기보다, 필요한 부분만 공유하는 Uni-X 방법을 소개합니다.

안녕하세요, 에디터 잭잭입니다.

요즘 ChatGPT와 같은 AI 서비스의 성능이 나날이 좋아지고 있다는 것을 체감하고 있습니다. 개인적으로 특히 눈에 띄는 것은 이미지를 이해하고 생성하는 능력인데요. 저는 새로운 프로그램을 설치하다가 오류가 발생하면 컴퓨터 화면을 캡처해 ChatGPT에 원인을 물어보곤 합니다. 반대로 발표 자료를 준비할 때는 원하는 그림을 설명하고 이미지를 생성해 달라고 요청하기도 해요.

이처럼 ChatGPT는 하나의 서비스에서 이미지 이해와 생성 기능을 모두 제공합니다. 하지만 내부적으로는 서로 다른 모델을 활용합니다. 예를 들어 이미지에 대한 질문에는 GPT-6와 같은 멀티모달 언어 모델이 답하고, 새로운 이미지를 생성할 때는 별도의 이미지 생성 모델인 ChatGPT Images 2.5를 사용하는 식이죠.

그렇다면 이미지 이해와 이미지 생성을 서로 다른 모델에 맡기는 대신, 하나의 모델에서 두 기능을 모두 수행할 수는 없을까요?

이러한 목표를 가진 연구가 바로 통합 멀티모달 모델(Unified Multimodal Model, UMM)입니다. 하나의 모델로 여러 작업을 수행할 수 있고, 서로 다른 작업에서 학습한 정보를 공유할 수 있다는 장점이 있습니다.

기존의 시각-언어 모델(Vision-Language Model, VLM)은 주로 이미지의 내용을 이해하고 텍스트로 답변하는 데 집중했습니다. 대표적으로 LLaVA나 Qwen-VL 같은 모델이 있죠. 반면 UMM은 이미지 이해뿐 아니라 이미지 생성까지 하나의 모델 체계로 통합하려는 접근이라는 점에서 기존 VLM과 다르다고 할 수 있어요.

💡 Transformer란?

Transformer는 입력된 정보 사이의 관계를 학습하는 신경망 구조로, 일반적으로 자기회귀(Autoregressive) 방식으로 텍스트를 생성합니다. 예를 들어 "오늘 날씨가"라는 문장이 주어지면, 모델은 다음에 올 단어(토큰)를 예측합니다. 이후 새롭게 생성한 단어를 입력에 포함해 그다음 토큰을 예측합니다. 이 과정을 반복하면서 문장을 순차적으로 생성합니다.

💡 UMM에서의 Visual Token은 VLM에서의 Visual Token과 무엇이 다를까요?

일반적인 VLM과 자기회귀 기반 UMM은 모두 비전 토큰을 사용하지만, 이미지를 표현하는 방식에는 차이가 있습니다.

• 일반적인 VLM (LLaVA, Qwen-VL 등): Vision Encoder가 추출한 연속적인 특징 벡터를 비전 토큰이라고 일컫습니다.
• UMM (Chameleon, Emu3 등): 이미지의 특징을 미리 학습된 벡터 집합인 Codebook의 항목에 대응시키고, 해당 번호(Index)를 비전 토큰으로 사용합니다.

앞서 살펴본 자기회귀 기반 UMM은 이미지와 텍스트를 하나의 Transformer에서 처리합니다. 두 종류의 데이터에 동일한 학습 방식을 적용할 수 있다는 점이 매력적인데요. 하지만 Uni-X: Mitigating Modality Conflict with a Two-End-Separated Architecture for Unified Multimodal Models (Hao et al., 2026)는 이미지와 텍스트가 모든 Transformer Layer의 파라미터를 공유하는 방식에 문제가 있을 수 있다고 지적했습니다.

이를 이해하기 위해 딥러닝 모델이 어떻게 학습하는지 간단히 살펴볼게요. 딥러닝 모델은 예측 결과와 정답 사이의 차이를 손실(Loss)로 계산하고, 이를 줄이는 방향으로 내부 파라미터를 조정하는데요. 이때 파라미터를 어느 방향으로 바꿔야 손실이 줄어드는지 판단하는 데 사용하는 값이 그래디언트(Gradient)입니다.

그런데 이미지와 텍스트가 동일한 파라미터를 사용하면 서로 다른 학습 신호가 충돌할 수 있어요. 예를 들어 텍스트를 잘 예측하려면 특정 파라미터의 값을 높이는 것이 유리한데, 이미지를 잘 예측하려면 오히려 낮추는 것이 유리할 수도 있죠. 하나의 파라미터를 두 작업이 서로 반대 방향으로 바꾸려는 셈입니다.

이처럼 서로 다른 작업의 그래디언트가 상충하는 현상을 그래디언트 충돌(Gradient Conflict)이라고 해요. 충돌이 심해지면 두 작업을 함께 학습하는 과정에서 서로 방해가 될 수 있는거죠.

Uni-X에서는 이러한 충돌이 Transformer의 어느 부분에서 크게 나타나는지 분석했습니다. 모든 Layer를 공유하는 Transformer에서 텍스트 데이터와 이미지·텍스트 쌍을 각각 학습할 때의 그래디언트를 구하고, 두 그래디언트의 방향이 얼마나 비슷한지 코사인 유사도(Cosine Similarity)를 이용해 비교했죠. 코사인 유사도가 낮을수록 두 학습 신호의 방향이 서로 다르다는 뜻이에요.

앞서 자기회귀 기반 UMM은 이미지를 토큰으로 변환해 언어처럼 처리한다고 설명했는데요. 하지만 같은 토큰 형식으로 표현한다고 해서, 이미지와 텍스트가 비슷한 특성을 갖는 것은 아닙니다.

이를 확인하기 위해 영어, 독일어, 중국어와 이미지 토큰의 조건부 엔트로피를 비교했습니다. 조건부 엔트로피는 값이 낮을수록 다음 토큰을 예측하기 쉽고, 높을수록 예측하기 어렵다는 의미에요. 실험 결과, 세 가지 자연어는 서로 비슷한 수준을 보인 반면 이미지 토큰은 훨씬 높은 조건부 엔트로피를 보였습니다. 같은 토큰 형식으로 표현하더라도, 이미지와 텍스트의 통계적 특성은 상당히 다르다는 것이죠.

💡 조건부 엔트로피(Conditional Entropy)란?

앞에 주어진 정보를 바탕으로 다음에 무엇이 나올지 얼마나 예측하기 어려운지를 나타내는 값입니다.

• 앞선 정보가 없을 때: 어떤 단어가 나올지 예상하기 어려움 (조건부 엔트로피가 높음)
• "오늘 날씨가 너무 좋아서 산책을"이라는 문장이 주어졌을 때: "했다", "나갔다" 등 이어질 표현을 어느 정도 예상할 수 있음 (조건부 엔트로피가 낮음)

즉, 앞에 주어진 정보가 다음 토큰의 불확실성을 얼마나 줄여주는지 이해하는 데 도움이 되는 지표입니다.

최근 멀티모달 AI에서는 이미지와 텍스트처럼 서로 다른 종류의 데이터를 하나의 모델에서 이해하고 생성하려는 연구가 활발하게 진행되고 있습니다. 특히 자기회귀 기반 UMM은 이미지를 언어처럼 토큰으로 변환해, 하나의 Transformer에서 이미지 이해와 생성을 수행할 수 있다는 가능성을 보여줬습니다. 기존 언어 모델의 학습 방식을 이미지 생성까지 확장할 수 있다는 점에서 매력적인 접근이죠. 하지만 Uni-X는 이러한 접근에서 이미지와 텍스트가 모든 Transformer Layer를 공유할 필요가 있는지 다시 생각하게 합니다.

서로 다른 데이터를 하나의 형식으로 표현할 수 있다는 사실이, 내부에서도 같은 방식으로 처리해야 한다는 뜻일까요? 개인적으로 이번 연구에서 가장 흥미로웠던 부분은 이미지와 텍스트가 모든 Transformer Layer를 공유하는 것이 정말 최선인지 의문을 제기했다는 점입니다.

이미지와 텍스트를 모두 토큰으로 표현하고, 같은 방식으로 다음 토큰을 예측하도록 학습할 수 있다는 것은 분명 매력적입니다. 하지만 데이터를 같은 형식으로 표현할 수 있다는 것과 그 데이터를 같은 방식으로 처리하는 것이 효과적이라는 것은 별개의 문제라는 생각이 듭니다.

특히 앞으로 AI가 이미지와 텍스트뿐 아니라 음성, 비디오, 로봇의 행동처럼 더 다양한 정보를 다루게 될 텐데요. 서로 다른 정보를 하나의 모델에 통합하는 것도 중요하지만, 각각의 특성을 어디까지 유지하고 어떤 부분에서 공통점을 학습해야 하는지도 고민해야 할 것 같습니다.