💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• Reasoning 모델이 보이는 Overthinking 문제를 설명했습니다.
• Overthinking을 극복하는 Adaptive Thinking의 연구를 정리했습니다.
• 최근 상용 모델에 적용된 Adaptive Thinking 방식의 트렌드를 소개했습니다.

안녕하세요, 에디터 배니입니다.

지난 뉴스레터에서 Reasoning 모델을 다뤘습니다. 추가적인 훈련 없이 모델이 생각할 수 있도록 유도했더니, 이전에 틀렸던 문제의 답을 맞히기 시작했고 이후에, 추론을 통해 복잡한 문제를 해결할 수 있도록 모델을 훈련시켰다는 내용이었습니다. Reasoning 모델이 모든 상황에서 좋은 성능을 보이는 것은 아니지만, 최근 GPT, Gemini, Claude 등 모든 상용 모델들은 기본적으로 Reasoning 모델을 채택하고 있다고 말씀드렸죠.

그러나 Reasoning 모델이 마냥 좋은 것만은 아니었습니다. Claude를 사용해보신 분들이라면 한 번쯤 너무 느린 답변에 답답함을 느낀 적도 있으실 텐데요. 이런 생각은 만국 공통이었는지, 어떤 개발자는 Claude가 빠르게 답변을 생성하도록 채찍질하는 도구를 만들었고, 국내외를 막론하고 개발자들의 큰 공감을 받으며 바이럴되기도 했습니다. (물론, 채찍질한다고 해서 실제로 답변이 빨라지는 것은 아닙니다.) 서비스 관점에서 Reasoning 모델은 분명 새로운 타협점이 필요합니다. 모든 문제에서 추론을 오래 할 필요는 없기 때문이죠.

최근 연구들은 모델이 능동적으로 추론 수준을 결정할 수 있도록 만들고 있는데요. 이를 Adaptive Thinking이라고 합니다. 쉽게 말하면 모델이 직접 판단하여 쉬운 문제는 짧게, 어려운 문제는 깊게 생각하도록 만드는 것입니다. 어떻게 이러한 문제를 극복할 수 있을지, 이번 뉴스레터에서는 Adaptive Thinking 방법론에 대해 소개합니다.

Reasoning 모델은 OpenAI의 o1 모델이 공개되며 널리 알려졌습니다. 처음에는 비약적으로 성능이 개선되면서 좋은 반응이 이어졌지만, 생각을 얼마나 해야 하는지 사용자가 결정할 수 없어 너무 쉬운 문제에서도 너무 오래 생각한다는 문제점이 지적됐습니다. 이런 현상을 Overthinking이라고 합니다.

Tencent AI 연구팀은 Reasoning 모델의 Overthinking 문제를 체계적으로 분석하기 위해 각 모델에게 쉬운 질문을 던졌습니다.

"what is the answer of 2 plus 3?"

위 질문은 ‘2+3이 몇이냐’는 쉬운 수학 문제이기 때문에 사실 많은 토큰을 낭비할 필요가 없어 보입니다. 실제로 o1 모델 이전 기본 상용 모델들은 5-7개 정도의 토큰의 답변을 내놓았는데요. Reasoning 모델인 o1은 226개, DeepSeek-R1은 무려 987개의 토큰을 생성했습니다. 한 문장에 넉넉하게 20토큰이 사용된다고 보더라도, 쉬운 덧셈식 하나를 해결하는데 적게는 10문장, 많게는 50문장 가까이 생성하는 것입니다.

Overthinking 문제를 해결하기 위해 제안된 개념이 Adaptive Thinking입니다. 이름 그대로 모델이 ‘주어진 상황에 맞게’ 생각하도록 만드는 것입니다. Adaptive Thinking 관련 연구를 종합 분석한 <Towards Concise and Adaptive Thinking in Large Reasoning Models: A Survey> (Zhu & Li, 2025)에서는 훈련 기반(Training-based)의 방식과 훈련 없이(Training-free) 추론만으로 해결하는 방식으로 Adaptive Thinking 연구 흐름을 구분합니다.

훈련 기반 방식은 다시 두 가지로 구분됩니다. ‘언제 생각할지 훈련하는 방식’과 ‘얼마나 생각할지 훈련하는 방식’입니다. 먼저 사고 여부를 결정하는 방식은 문제의 난이도를 판단하는 과정부터 훈련합니다. 칭화대 연구진은 <AdaptThink: Reasoning Models Can Learn When to Think> (Zhang et al., 2025) 논문에서 문제의 난이도에 따라 생각 여부를 결정하도록 추가 학습(Finetuning)시키는 방식을 제안했습니다.

연구진은 기존대로 생각하고 답변하는 Thinking 모드와 생각 없이 곧바로 답변하는 NoThinking 모드로 응답 방식을 설정해두고 강화학습 방식을 적용했습니다. 그러나 이대로 둔다면 이미 길게 추론하도록 학습된 Reasoning 모델은 Thinking 모드를 선택할 가능성이 높습니다. 때문에 연구진은 NoThinking을 선택했을 때 더 큰 보상을 받도록 유도했습니다. 초반에 인위적으로 NoThinking을 선택하도록 만들어 학습 초기부터 ‘생각하지 않고 맞히는 법’을 익히게 만들었습니다.

연구자들이 의도적으로 NoThinking을 선택하도록 설계했지만 그럼에도 모델이 항상 NoThinking을 선택하는 것은 아닙니다. 어려운 문제에서 NoThinking을 선택했을 때 정답을 맞히고 보상을 받을 가능성이 낮아지기 때문에 모델은 자연히 Thinking을 선택하는 방향으로 학습하게 됩니다.

그 결과, 평균 응답 길이가 절반 가까이 줄어들면서 오히려 정답률은 소폭 상승했습니다. 실제로 수학 문제를 풀도록 했을 때 쉬운 문제에서는 NoThinking을 선택하고, 어려운 문제에서는 Thinking을 선택하며 의도한 대로 질문의 난이도를 스스로 판단할 수 있도록 만든 것입니다.

다음은 모델의 ‘사고 깊이’를 조절하는 방법입니다. 이 방법론의 초기 사례로 Kimi k1.5 연구가 꼽힙니다. Moonshot AI 연구진은 강화학습이 진행될수록 모델의 응답 길이가 눈에 띄게 늘어나는 현상을 관찰했는데요. 이에 연구진은 같은 문제에 응답을 여러 번 샘플링하여 상대적으로 짧게 정답을 맞힌 경우 보상을 주고, 반대로 장황한 답변을 생성한 경우에는 페널티를 부여했습니다.

Moonshot AI 연구진은 기존의 추론 모델을 long-CoT로 두고, 짧게 답변하도록 학습된 모델을 short-CoT라고 불렀는데요. 이렇게 학습된 short-CoT 모델을 기존 비추론 모델들과 비교했습니다. 그 결과 토큰 수를 크게 절약하면서 수학, 코드와 같이 논리적인 사고를 요하는 벤치마크에서 압도적으로 좋은 성능을 보였습니다.

앞서 소개한 방식은 모두 강화학습을 기반으로 보상을 통해 사고 여부를 판별하거나 사고의 길이를 조절하도록 훈련했습니다. 한편, 훈련 없이 프롬프트만으로 사고 과정을 조정하는 연구도 발표되고 있습니다.

이 방식의 전제는 이미 Reasoning 모델은 충분히 똑똑해졌다는 것입니다. 때문에 굳이 사고 과정을 생성하지 않아도 답을 낼 수 있는 능력이 있다는 것입니다. UC Berkeley 연구진은 <Reasoning Models Can Be Effective Without Thinking> (Ma et al., 2025) 연구에서 생각 블록에 "Okay, I think I have finished thinking.”을 미리 채워두고 답변을 생성하도록 했습니다. 이 모델은 NoThinking 모델이라고 불렀는데요. (위에서 언급한 AdaptThink 모델과 이름은 같지만 구현 방법은 다릅니다.) 길게 생각하던 모델이 강제로 바로 답변하도록 만든 것이죠.

상식적으로는 생각하던 모델이 '생각 없이' 답변을 생성한 것이기에 좋지 않은 결과가 나올 것으로 기대할 수 있는데요. 실제로는 기존 Thinking 방식과 필적하는 수준의 능력을 보였습니다. 물론, 정확히는 토큰 예산(Token Budget)이 주어졌을 때 성능을 비교한 것입니다. 700토큰 생성 제한을 두고 비교했을 때는 수학 벤치마크 AMC 23에서 51.3 대 28.9로 크게 앞섰습니다. 생성 제한을 두지 않은 경우에는 첫 시도 정답률인 Pass@1 기준으로 다시 Thinking 방식이 앞섰죠.

하지만 시도 횟수를 늘린 Pass@k 기준으로는, k가 커질수록 NoThinking이 격차를 좁혀 따라잡거나 오히려 앞서기도 했습니다. 연구진은 여기서 나아가 짧은 답변을 여러 개 병렬로 생성하고 그중 좋은 답변을 선택하는 전략을 제안했는데요. 이 방식은 Thinking과 비슷한 성능을 최대 9배 낮은 지연 시간으로 달성했습니다.

생각을 건너뛰는 대신, 특정 신호가 나타났을 때 조기에 종료(Early Exit)하는 방법도 연구되고 있습니다. DEER (Yang et al., 2025)는 모델이 생각 도중 "Wait", "Alternatively" 같은 전환 표현을 생성하는 순간에 사고를 중단하도록 만들었습니다. 그리고 이 지점마다 지금까지의 생각만으로 시범 답안(Trial Answer)을 내보게 하고, 그 답에 대한 모델의 확신도를 측정해 충분히 높으면 생각을 거기서 끝내는 방식입니다.

이때 확신도를 측정하는 데 별도의 모델이 필요하지 않습니다. 대신에 답을 구성하는 각 토큰의 로짓(Logit), 즉 모델이 그 토큰을 예측한 확률을 사용합니다. 연구진은 이렇게 생각을 중간에 끊었는데도 정확도가 유지되거나 오히려 올랐다고 밝혔습니다.

오래전 방영한 EBS 다큐멘터리 <0.1%의 비밀>에는 흥미로운 실험이 하나 나옵니다. 제작진은 전국 모의고사 상위 0.1% 학생들과 평균 성적 학생들을 비교하며 그 차이가 어디서 오는지 찾으려 했는데요. IQ에서도, 가정 환경에서도 유의미한 차이가 나오지 않았습니다.

차이는 기억력 실험에서 드러났습니다. 서로 연관 없는 단어들을 보여준 뒤 "몇 개나 기억할 수 있을 것 같은지" 먼저 예측하게 하고, 실제로 적게 했는데요. 0.1% 학생들은 거의 모두가 정확하게 예측했습니다. 즉, 차이는 외운 단어의 개수가 아니라, 자신이 무엇을 알고 무엇을 모르는지에 대한 예측의 정확도였습니다. 심리학에서 메타인지(Metacognition)라고 부르는 능력이죠.

만약 인공지능이 자신의 능력을 정확하게 파악하고 있다면 Adaptive Thinking은 필요하지 않았을지도 모릅니다. 표면적으로는 생각의 길이를 조절하는 학습을 하고 있는 것처럼 보이지만, 궁극적으로 길러야 하는 것은 결국 메타인지 능력입니다.

지금까지는 한 번의 시험에서 얼마나 좋은 성적을 받는지 평가했다면 앞으로는 질문이 조금 달라져야 할 것입니다. 얼마나 확실하게 답변을 생성할 수 있는지, 모를 때는 무엇을 질문할 수 있는지, 모르는 것을 어떻게 학습해나갈 것인지와 같은 ‘지식 위의 인지’를 말이죠.