💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• Reasoning 모델의 핵심 개념을 요약했습니다.
• Parametric Knowledge를 끌어내기 위한 방법으로 Reasoning이 효과적인 이유를 정리했습니다.
• 추론의 스케일을 늘리는 대표적인 방식 두 가지(Parallel vs. Sequential)를 소개했습니다.

안녕하세요, 에디터 배니입니다.

지난 주 뉴스레터에서 ACL 2026 참관 후기를 짤막하게 소개드렸습니다. 그중 인상 깊었던 연구 분야인 Code-Switching에 대해서 설명했는데요. 사실 연구 트렌드 중 가장 눈에 띄었던 것이 바로 LLM Reasoning이었습니다.

특히, 첫날 열린 LLM Reasoning 튜토리얼에서는 정말 배울 내용이 많았습니다. LLM Reasoning을 어떻게 정의할 수 있는지, 최근 Reasoning 연구는 어떤 것들이 있는지, 앞으로 나아가야 할 방향은 어떠한지 설명했는데요. 이 강의만 제대로 소화해도 학회 참가비가 아깝지 않다고 느낄 만큼, 짧은 시간에 깊이 있는 내용이 압축적으로 담겨 있었습니다.

감사하게도 연사들은 이 튜토리얼 자료를 웹상에 공개했습니다. 모든 내용을 다 다루기는 어렵지만 그중 핵심적인 내용만 추려 LLM Reasoning이 무엇인지 소개하고자 합니다. 이번 뉴스레터는 전체적으로 ACL 튜토리얼 <Current Advances in LLM Reasoning> 자료를 참고했습니다.

Reasoning(추론)은 주어진 정보에 근거해 논리적으로 결론을 도출하는 과정입니다. 연역적 추론, 귀납적 추론, 유추, 가추 등 다양한 추론 방법이 있지만 일반적으로 Reasoning 모델이라고 하면, 정답을 출력하기 전에 사고하는 과정을 명시적으로 보여주는 모델을 의미합니다.

대표적인 사례가 Chain-of-Thought(CoT) 프롬프팅입니다. 모델을 새롭게 훈련한 것도 아닌데 답을 추리하는 과정을 생성하도록 프롬프트를 입력했더니 모델의 성능이 개선됐다는 것입니다. 핵심은 ‘훈련하지 않았다’는 것입니다. 이미 모델은 답을 맞힐 수 있는 능력을 갖고 있는데, 사용자가 올바른 답을 추론할 수 있도록 유도하지 못해 모델은 성능을 완전히 발휘하지 못하고 있던 것입니다. 파라미터가 가지고 있는 지식, 즉 Parametric Knowledge를 완전하게 사용하지 못한 것이죠.

이후에 파라미터에 내재된 지식을 끌어내기 위해 다양한 연구 논문들이 쏟아졌습니다. 답변을 다양하게 생성하여 여러 추론 경로에서 일관되게 도출되는 답변을 선택하거나(Self-consistency), 탐색과 평가를 반복하거나(MCTS), 추론 경로를 트리 구조로 확장해 더 유망한 경로를 선택하는 등(Tree-of-Thought) 정말 다양한 방식으로 CoT 방법론을 확장했습니다. 그리고 많은 연구 사례에서 보여주듯이 답을 유도하는 과정을 생성하도록 하니 성능이 좋아졌죠.

한편, 모델 파라미터에 내재된 지식만으로 정답을 탐색하는 데 한계를 느끼고 외부의 도구를 불러와 해결하려는 시도들도 있었습니다. 대표적으로 데이터베이스에서 탐색하여 답변을 생성하는 RAG라든가, 함수를 호출해 실행하는 Function Calling, 코드를 실행해보고 검증하는 Code Execution 등이 있죠.

그렇다면 왜 Reasoning 모델은 성능이 좋을까요? ‘생각을 깊게 했으니까 똑똑해지죠!’라고 생각할 수 있지만 실상은 그렇지 않습니다. 수능을 예로 들어보자면, 시험 시간을 2배로 늘려 더 오래 생각할 수 있는 시간을 준다고 해서 모든 학생들의 점수가 오르진 않을 테니까요. 생각을 깊게 해서 성적이 높아지려면 이미 그 학생은 똑똑해야 합니다.

마찬가지로 Reasoning으로 모델 성능이 좋아지려면 LLM은 ‘이미’ 똑똑해야 합니다. 앞서 언급한 Parametric Knowledge를 방대하게 보유하고 있어야 한다는 것이죠. Google DeepMind의 <Chain-of-Thought Reasoning without Prompting> (Wang & Zhou, 2024) 연구는 꼭 CoT를 유도하지 않아도 이미 LLM은 올바른 답을 추론할 수 있는 능력을 가지고 있다고 말합니다. 다만 가장 높은 확률로 선택한 첫 번째 답(top-1)이 틀렸을 뿐이죠. 후순위 후보까지 탐색하면 모델이 스스로 정답을 찾아낼 수 있다고 설명합니다. 게다가 정답을 예측할 때 더 높은 신뢰도를 보이기도 하고요.

얼핏 보면 추론 과정을 유도하는 게 불필요한 것처럼 보입니다. 하지만 지난 3월, Google Research 연구진은 추론 과정 자체가 정답을 쉽게 떠올리는 데(Recall) 도움을 준다고 말합니다. 즉, LLM이 가진 능력의 한계를 확장해주는 것이죠. 이를 보이기 위해 Reasoning을 유도하는 프롬프트를 넣었을 때와 그렇지 않을 때를 비교했습니다.

Pass@k는 k번 샘플링했을 때 최소 한 가지가 정답일 확률을 의미합니다. 위 그림에서 보이는 것처럼 Reasoning을 활성화했을 때가 그렇지 않을 때보다 훨씬 좋은 성능을 보이는데요. 연구진은 이 현상에 대해서 두 가지 가설로 분석합니다. 첫 번째로 Computational Buffer입니다. 단 한 번의 순전파(Forward-pass)로 답변을 생성할 때는 정답의 신호가 활성화되지 않을 수 있습니다. 그러나 Thinking 과정에서 계산을 반복하며 특정 신호가 활성화되기 시작할 수 있다는 것입니다.

연구진은 정답을 유도하기 위해 필요한 사실 정보 없이, 무의미한 정보를 반복하더라도 성능이 개선된다는 사실을 보였습니다. 위 그래프에서 On Single Dummy는 'Let me think'를 한 번 넣은 것이고, On Dummy는 'Let me think'를 무의미하게 반복한 것인데요. 그럼에도 활성화하지 않았을 때보다 성능이 좋아졌다는 것이죠.

중간 과정이 꼭 사실이 아니라도 성능이 개선된다는 사실이 (개인적으로는) 조금 받아들이기 어렵습니다. 실제로 모델이 ‘추론’한 것이 아닌데 성능은 개선됐다는 것은 추론의 효과를 축소하는 것처럼 보이니까요.

이 가설은 모델의 깊이를 늘린 것과 비슷한 효과로 해석할 수 있습니다. 즉, Thinking 과정 자체가 연산을 계속 반복하게 만들면서 정답 신호를 활성화시킨다는 것입니다. 그러나 무의미한 사고 과정을 무한정 늘린다고 좋은 것은 아니었습니다. 오히려 어느 순간부터는 활성된 정답 신호가 희석되기 때문입니다. 연구진은 2^11(2048) 토큰 이후부터는 오히려 성능이 떨어지는 현상을 관찰했다고 설명합니다.

다른 가설은 사실 점화(Factual Priming)입니다. 이는 정답을 맞히는 과정에서 알고 있는 사실을 생성하면서, 추론의 영역을 좁히는 것과 유사합니다. 정답과 관련된 사실을 생성하는 과정 자체가 다음 토큰을 예측하는 데 되먹임되면서 계속해서 관련 사실을 검색하는 것과 유사한 효과를 나타내는 것입니다. 연구진은 마치 RAG가 검색된 결과를 기반으로 답변을 생성하는 것처럼, 이 추론 과정을 Generative Self-retrieval으로 보기도 합니다.

위 연구는 모델이 이미 답을 알고 있고, 그것을 떠올리는 과정에서 Reasoning이 도움이 된다는 사실을 보여줍니다. 그렇다면 이런 원리를 응용한다면 Reasoning 모델을 더욱 효율적으로 만들 수 있지 않을까요?

추론을 확장하는 방법론에 대한 연구 흐름은 크게 Parallel Scaling과 Sequential Scaling으로 구분할 수 있습니다. 우선, CoT 이후 활발하게 연구됐던 Parallel Scaling입니다. 가능한 한 다양하게 답변을 생성한 뒤, 특정 기준에 따라 답을 찾는 것입니다. 앞서 언급한 Self-consistency가 개념적으로 병렬 스케일링에 해당한다고 볼 수 있습니다. Self-consistency는 다양한 답변 중 가장 많이 나온 답변을 정답으로 결정하는 Hard Voting 로직을 활용합니다.

다음은 Sequential Scaling입니다. 답변을 다양하게 생성한 뒤 고르는 것이 아니라, 차근차근 답을 추론할 수 있도록 질문을 해부하고, 추론을 위한 계획을 세우고, 재확인하는 과정을 순차적으로 진행하는 것입니다. 상대적으로 더 최근에 연구되고 있는 분야인데요. 의도적으로 모델이 정답을 추론할 수 있는 사고 과정을 주입하는 것과 같습니다.

이 과정에서 핵심은 Guiding Tokens에 있습니다. First, Then, So와 같이 사고에 필요한 유도 토큰들을 중간중간 삽입함으로써 사고의 방향성을 바로잡아 주는 것인데요. 이 방법이 효율적인 추론을 이끌기는 하지만, 어떤 토큰을 사용해야 최적의 추론을 생성하는지는 아직 명확하게 밝히지 못했습니다.

여전히 Reasoning 모델이 갈 길은 멉니다. 최근에 드러난 문제 중 하나는 Overthinking 현상입니다. 단순하게 답을 낼 수 있는 상황에서도 과도하게 길게 추론하는 현상인데요. 이 현상은 긴 추론에 더 큰 보상을 부여한 학습 설계에서 발생한 Reward Hacking으로 해석됩니다. 이를 줄이기 위해 언제 사고를 길게 하고, 멈출지 결정하는 Adaptive Reasoning 방법론이 활발하게 연구되고 있습니다. 그 밖에도 환각 현상이 발생했을 때 잘못된 추론을 유도하는 문제, 토큰을 많이 소모하는 추론 과정을 시스템적으로 효율화하는 방법 등 다양한 분야로 연구되고 있습니다.

이렇게 Reasoning 모델의 근황을 살펴봤습니다. 명시적인 사고 과정을 생성하면 성능이 개선된다는 사실을 기반으로, 더 좋은 추론 경로를 제안하기 위한 연구들을 소개했는데요. 튜토리얼에서 소개한 내용의 10분의 1도 다루지 못한 것 같습니다. Reasoning 모델을 훈련시키는 방법이나 보상을 설계하는 방법도 소개되어 있으니 관심 있는 분들은 꼭 튜토리얼 자료를 참고하시기 바랍니다.