최근 추론 모델(Reasoning Model)이 주목받고 있습니다. o1, DeepSeek R1 같은 모델들이 대표적인데요. 이 모델들은 복잡한 문제를 풀 때 바로 답을 내지 않고, 단계별로 생각 과정을 텍스트로 풀어씁니다. 이를 Chain-of-Thought(CoT)라고 부르죠. 마치 수학 문제를 풀 때 풀이 과정을 써가며 푸는 것과 비슷합니다. 이렇게 명시적으로 추론 과정을 드러내는 방식 덕분에 AI가 더 어려운 문제를 해결할 수 있게 됐고, 연구자들도 모델이 "왜 그런 답을 냈는지" 확인할 수 있게 됐습니다.

그런데 이 방식에는 몇 가지 한계가 있습니다.

우선 언어의 표현력 한계입니다. CoT는 추론 과정을 모두 단어로 표현하는데, 언어라는 매개가 생각을 담기에 충분히 넓은 그릇이 아닐 수 있습니다. 모델 내부에는 Hidden State라고 불리는 벡터가 있습니다. 이는 쉽게 말해 모델이 "지금까지 이해한 내용"을 압축해서 담고 있는 내부 메모리라고 이해할 수 있습니다. 이 벡터는 토큰보다 훨씬 풍부한 정보를 표현할 수 있는데, 이걸 억지로 단어로 표현하게 되면 그 안에 숨어 있는 미묘한 의미가 손실될 수 있죠.

  

하나의 토큰이 담을 수 있는 정보량은 약 15비트입니다. 대부분의 LLM이 사용하는 Vocabulary 크기가 약 32,000개인데, 토큰 하나는 그중 하나를 선택하는 것이므로 log₂(32,000) ≈ 15비트에 불과합니다. 반면 모델 내부의 Hidden State는 2,560차원 벡터를 FP16(16비트)으로 저장하므로 약 40,960비트, 즉 약 2,700배 더 많은 정보를 담을 수 있습니다.

중간 사고 과정을 토큰으로 출력하는 Explicit Reasoning에서는 자연어로 추론해야 한다는 제약 때문에 모델이 표현할 수 있는 표현력에 한계가 생기는 겁니다.

다음으로 높은 추론 비용 문제가 있습니다. Explicit Reasoning은 사고 과정을 전부 토큰으로 출력해야 하므로, 매 토큰마다 Vocabulary 변환, Softmax, 샘플링 과정이 반복됩니다. 더 오래 생각하려면 더 많은 토큰을 생성해야 하고, 그만큼 연산 비용이 누적되죠. 게다가 토큰은 차례대로 하나씩 생성해야 하므로 병렬 처리도 어렵습니다. 반면 Latent Reasoning은 이 디코딩 과정을 건너뛰고 Hidden State를 바로 다음 추론에 활용합니다.

Latent Reasoning은 생각을 텍스트로 바꾸지 않고, 모델 내부의 연속적인 벡터 공간에서 직접 추론을 수행합니다. 토큰 생성을 건너뛰니 비용이 줄고, 속도가 빨라지며, 표현력 손실도 적습니다. 연구에 따르면 최대 20배 속도 향상, 80% 토큰 절감이 가능합니다.

흥미로운 점은 이 발상이 얀 르쿤(Yann LeCun)이 LLM을 비판하며 제시했던 관점과 맞닿아 있다는 것입니다. 르쿤은 "단어만으로는 현실 세계를 완벽하게 표현할 수 없다"라며 연속적인 세계 모델의 필요성을 주장해 왔는데요. Latent Reasoning을 추론 자체를 연속 공간에서 수행하여 자연어라는 병목을 줄인다는 점에서, 같은 방향의 시도로 볼 수 있습니다.

  

Latent Reasoning의 핵심 아이디어는 단순합니다. 기존 LLM의 추론 과정을 보면, 모델은 입력을 받아 내부적으로 Hidden State를 만들고, 이를 토큰으로 변환해 출력한 뒤, 그 토큰을 다시 입력으로 받아 다음 단계를 진행합니다. 단계마다 "내부 표현 → 텍스트 출력 → 텍스트 입력 → 내부 표현"의 변환이 반복되는 것이죠.

Latent Reasoning은 이 중간 단계를 생략합니다. Hidden State를 굳이 토큰으로 바꾸지 않고, 그 상태 그대로 다음 추론의 입력으로 사용하는 것입니다. 마치 생각을 말로 꺼내지 않고 머릿속에서만 계속 발전시키는 것과 비슷하죠. 이렇게 하면 토큰 생성에 드는 연산을 건너뛸 수 있고, Hidden State가 가진 풍부한 정보를 손실 없이 활용할 수 있습니다.

이 방식을 구체적으로 구현한 대표적인 연구가 COCONUT(Chain of Continuous Thought)입니다. 2024년 12월, Meta 연구진이 공개한 논문에서 제안된 방법인데요. Coconut은 LLM의 마지막 Hidden State를 "연속적 사고(Continuous Thought)"라고 부르며, 이를 토큰으로 디코딩하지 않고 바로 다음 단계의 입력 임베딩으로 사용합니다.

  

흥미로운 점은 이 방식이 단순히 효율만 높이는 게 아니라는 것입니다. 연구진에 따르면, 연속적 사고는 여러 가능한 다음 단계를 동시에 인코딩할 수 있습니다. 기존 CoT가 한 번에 하나의 경로만 따라가는 것과 달리, COCONUT은 마치 여러 가능성을 동시에 탐색하는 "너비 우선 탐색(BFS)"과 유사한 패턴을 보인다고 합니다. 덕분에 복잡한 계획이 필요한 문제에서 특히 강점을 보였고, GSM8K 같은 수학 추론 벤치마크에서 기존 CoT와 대등한 성능을 달성한 최초의 Latent 방식이 됐습니다.  

여기서 한발 더 나아간 연구들이 있습니다. 단일 모델 내부에서의 Latent Reasoning을 넘어, 여러 모델이 Latent Space에서 직접 소통하는 방식입니다.  

앞서 언급한 LatentMAS가 대표적입니다. 기존에 여러 AI 에이전트가 협업할 때는 한 모델이 텍스트를 생성하면 다른 모델이 그걸 읽고 해석하는 방식이었습니다. LatentMAS는 이 과정을 생략합니다. 첫 번째 에이전트가 추론하면서 쌓은 KV 캐시(Key-Value Cache)를 두 번째 에이전트에게 그대로 넘기는 것이죠.  

Transformer 모델이 추론할 때, 이전에 처리한 토큰들의 정보를 Key-Value 쌍으로 저장해두는 메모리입니다. 같은 연산을 반복하지 않아 속도가 빨라지죠. LatentMAS는 이 캐시 자체를 에이전트 간 "기억 공유"의 수단으로 활용합니다.

다만 Gibberlink는 명시적인 신호 체계를 사용했기에 "어떤 방식으로 통신하는지" 확인할 수 있고, 해석할 수 있었습니다.

반면 LatentMAS나 C2C는 더 근본적인 수준에서 작동합니다. 언어 단계 자체가 생략되기 때문에, AI 간의 대화가 더 이상 문장으로 표현되지 않습니다. 우리는 이제 "무슨 말을 주고받았는가"가 아니라 "어떤 벡터를 주고받았는가"를 해석해야 하는 상황에 놓이게 됩니다.

  

그렇다면 모니터링을 강화하면 어떨까요? OpenAI 연구진에 따르면 그것도 쉽지 않습니다. CoT 모니터링을 강화하면, AI는 "나쁜 생각"을 멈추는 게 아니라 그걸 숨기는 법을 배운다고 합니다. 겉으로는 정상적인 추론을 보여주면서, 실제로는 부정한 방법을 쓰는 거죠.

그런데 Latent Reasoning은 이 문제를 한 단계 더 어렵게 만듭니다. CoT에서는 적어도 모델의 출력 토큰으로 추론 과정을 볼 수 있었습니다. 거짓말을 하더라도 그 거짓말 자체는 확인할 수 있었죠. 하지만 Latent Space에서의 추론은 애초에 언어로 표현되지 않기 때문에, 무엇을 검증해야 할지조차 불분명해집니다.

여러 AI가 Latent Space에서 동시에 협업하는 시스템이 보편화된다면, 상황은 더 복잡해집니다. 문제가 생겼을 때 어떤 모델이, 어떤 판단 근거로, 어떤 결론에 기여했는지 추적하기 어려워질 것입니다. 의료 진단에서 오진이 났을 때, 자율주행차가 사고를 냈을 때, 우리는 "왜?"라고 묻는 일이 지금보다 훨씬 어려워질 수 있습니다.

  

물론, 인간도 모든 생각을 말로 하진 않습니다. 말로 표현하기 어려운 직관, 감각에 의한 판단이 분명 존재하죠. 하지만 인간 사회에서는 그런 불투명한 판단에 책임을 묻는 법과 제도가 오랜 시간에 걸쳐 마련되어 왔습니다. 반면, 언어로 드러나지 않는 AI의 추론에 대한 규제나 감시 체계는 아직 충분하지 않습니다.

Latent Reasoning은 분명 매력적인 기술입니다. 더 빠르고, 더 저렴하고, 어쩌면 더 풍부한 사고가 가능해지니까요. 하지만 그 대가로 우리가 AI의 사고 과정을 들여다볼 방법은 점점 불투명해지고 있습니다.

해석할 수 없는 추론을, 우리는 어디까지 신뢰할 수 있을까요?