예를 들어 GPT-5.4 mini에 벡터 연산 문제를 하나 입력하는 상황을 가정해보겠습니다. 돌아온 요약은 "먼저 ka + b를 계산하고, 그다음 a − 3b를 계산한 뒤, 두 벡터가 비례한다는 식을 세워 풀겠다" 정도로 짧습니다. 계산 과정은 거의 없고, 어떤 순서로 접근했는지만 담겨 있죠. Inversion Model은 이 요약과 최종 답을 바탕으로 "두 벡터가 같은 방향이거나 반대 방향이라면 하나가 다른 하나의 스칼라배여야 한다"는 판단부터 성분별 비례식, 부호에 대한 검산까지 이어지는 긴 추론을 다시 써 냅니다. 요약에 적힌 순서를 뼈대로 삼아, 빠진 단계를 채워 넣는 셈입니다.

그렇다면 이렇게 복원한 추론으로 실제로 학생 모델을 가르칠 수 있을까요? 연구진은 1.5B 크기의 작은 모델을 Surrogate Model로 사용하여 GPT-5.4 mini를 공격했습니다. GPT-5.4 mini의 요약과 답을 그대로 학습한 Llama-3.1-8B는 수학 벤치마크 MATH500에서 16.4%에 그쳤지만, 같은 요약을 Inversion Model로 복원한 추론을 학습하자 48.3%까지 올라갔습니다. 요약을 그대로 학습하면 오히려 답만 학습할 때보다 성능이 떨어지는 경우도 있었습니다. 요약 자체는 학습 데이터로 쓸모가 없지만, 복원을 거치면 쓸모 있는 답지가 되는 것입니다. GPT-5.4 mini에 1만 개의 질문을 보내는 데 든 비용은 173.28달러였고, 복원과 학습 과정에서는 GPT-5.4 mini를 전혀 사용하지 않았습니다.

더 흥미로운 결과도 있습니다. 공격 대상과 Surrogate Model을 모두 DeepSeek-R1으로 설정한 실험에서는, 복원한 추론으로 학습한 학생 모델이 R1의 실제 추론으로 학습한 학생 모델보다 높은 점수를 받기도 했습니다. R1의 실제 추론에는 시도했다가 포기한 접근이나 되돌아가는 과정이 그대로 남아 있지만, 최종 답을 알고 복원한 추론은 정답을 향해 곧장 나아가기 때문입니다. 연구진은 공격자가 노출된 추론과 상관없이 최종 출력만 복원하면 되기 때문에, 추론을 감추는 것만으로는 능력 탈취를 막을 수 없다고 결론짓습니다.

실제로 연구진이 같은 문제들로 증류만 한 모델, 강화학습만 한 모델, 증류 후 강화학습까지 한 모델을 비교해 보니, 거의 모든 경우에 강화학습이 증류보다 나았고 둘을 함께 쓴 모델이 가장 좋은 성능을 냈습니다. 증류는 학생 모델이 풀 수 있는 문제의 범위를 넓혀 주고, 강화학습은 그 범위 안에서 정답을 더 안정적으로 내도록 다듬어 주기 때문입니다. 최고의 모델을 원하는 공격자라면 증류에서 멈출 이유가 없다는 것입니다.

이 조건에서 Antidistillation Sampling을 다시 평가하자 결과가 달라졌습니다. 연구진은 독의 강도를 세 단계로 나눴는데, 가장 약한 단계조차 교사 모델 자신의 성능을 10% 떨어뜨렸습니다. 실제 서비스라면 이 정도 손해도 감수하기 어려운 수준입니다. 증류 직후에는 의도대로 Poisoned Reasoning으로 학습한 학생 모델의 성능이 떨어졌습니다. 하지만 강화학습을 거치자, 약하거나 중간 정도의 독을 탄 추론으로 학습한 학생 모델은 독이 없는 추론으로 학습한 학생 모델과 거의 같은 성능을 회복했습니다. 독을 탄 추론도 강화학습의 출발점으로는 여전히 쓸모가 있었던 것입니다. 가장 강한 독은 강화학습 뒤에도 효과가 남았지만, 이는 교사 모델 자체가 제대로 된 답을 내지 못할 만큼 망가졌기 때문이었습니다. 다른 모델 조합에서는 약한 독의 효과가 일부 남기도 했지만, 그 경우에도 교사 모델의 성능을 10% 넘게 희생해야 했습니다.

연구진은 한 발 더 나아가, 실제 상용 모델들이 쓰고 있는 방어법인 추론 요약도 같은 방식으로 실험했습니다. 이번에는 앞서 소개한 Trace Inversion보다 훨씬 단순한 공격을 사용했는데요. Trace Inversion은 요약을 전체 추론으로 복원하는 Inversion Model을 따로 학습해야 했지만, 이 공격에는 그런 과정이 없습니다. 대신 연구진은 이미 공개된 소형 모델인 Llama-3.2-3B-Instruct를 그대로 가져와, 요약을 전체 풀이로 늘리는 역할을 맡겼습니다. 연구진은 이 모델을 Expander라고 이름 붙였습니다.

Expander는 문제, 상용 모델의 요약, 그리고 최종 답을 전달받고, “이 요약을 바탕으로 처음 이 문제를 푸는 것처럼 자연스러운 풀이를 써 달라”는 요청을 받습니다. 이때 중간 계산 결과와 최종 답은 요약에 적힌 것과 반드시 같아야 하고, 요약을 참고했다는 티를 내서도 안 된다는 조건이 붙습니다. 수학 문제를 처음부터 혼자 푸는 것보다 핵심 단계를 힌트로 받고 푸는 편이 훨씬 쉬운 것처럼, 작은 모델이라도 요약이라는 뼈대만 있으면 그럴듯한 전체 풀이를 써 낼 수 있다는 것이 연구진의 생각입니다.

연구진은 Expander가 요약을 늘린 풀이로 학습한 학생 모델과, 숨겨진 전체 추론으로 학습한 학생 모델을 비교했습니다. 증류 직후에는 전체 추론으로 배운 학생 모델이 확실히 앞섰습니다. 요약만 보여주는 방어가 제 역할을 하는 것처럼 보였죠. 하지만 강화학습을 거치자 그 차이는 거의 사라졌습니다. Claude Sonnet 4.6과 GPT-5 mini의 실제 요약으로 실험했을 때도 결과는 같았습니다.

연구진은 이를 바탕으로, 대략적인 추론을 복원할 수 있을 만큼의 정보가 새어 나가는 한 어떤 방어도 효과를 내기 어렵다고 결론을 내렸습니다. 다만 연산 자원의 한계로 3B 이하의 소형 학생 모델과 수학 문제에서만 실험했고, 안전상의 이유로 각 기업의 최상위 모델은 공격 대상에서 제외했다는 점은 염두에 둘 필요가 있습니다.