위 그림은 ChatGPT API를 설정하는 화면 중 일부입니다. GPT는 2020년 출시된 GPT-3부터, GPT-4.1이 나온 현재까지 Top-p와 Temp 설정을 사용하고 있습니다. 이 두 설정값은 대체 무엇이길래 오랫동안 사용되고 있을까요?

디코딩 전략은 크게 두 갈래로 나뉘는데요. 먼저 결정론적 방법은 확률분포에서 항상 가장 높은 확률의 토큰을 선택하는 방법으로, 다음 토큰을 예측할 때 확률이 높은 순서대로 출력하는 방법을 말합니다. 이렇게 출력하는 가장 대표적인 방법이 Greedy Search입니다.

그다음으로, 확률적 방법은 확률 분포에서 나타난 확률에 따라 토큰을 무작위로 선택하는 방법입니다. 앞선 첫 번째 그림을 예시로 들어보자면, “the Everest”가 출력될 확률이 0.8, “a dog”이 출력될 확률이 0.046인거죠.

결정론적 방법인 Greedy Search를 사용한다면 모델을 몇 번 수행하느냐에 상관없이, 같은 질문에 대해서 항상 가장 높은 확률인 “the Everest”를 출력할 것입니다. 반면 확률적 방법을 사용할 경우에는 매우 낮은 확률임에도 “a dog”이 출력될 수도 있는 것이죠.

그렇다면 결정론적 방법이 성능이 더 우수한 게 아닌가, 하는 생각이 들 수 있습니다.

위 그래프는 같은 입력에 대해 결정론적 방법론(Beam Search)으로 출력한 텍스트와, 사람이 작성한 텍스트에서 토큰들의 확률을 비교했습니다. Beam Search로 디코딩 된 텍스트는 끝없이 반복을 하는 패턴을 보이는 반면, 사람이 작성한 텍스트는 확률의 변동성(Variance)가 더 크다는 점이 특징이에요. 따라서 사람과 비슷한 분포를 흉내 내기 위해 Open-ended 텍스트 생성에서는 확률적 디코딩 전략을 사용하는 것이 더 좋습니다.

언어 모델이 다음으로 출력할 후보 단어의 확률 분포는 문맥에 따라 매우 다르게 나타날 수 있습니다. 위 그림과 같이, 일부 문맥에서는 상위 후보 토큰들이 고르게 분포되어 있을 수 있습니다. 이럴 경우 모델은 여러 적절한 단어를 선택할 수 있어요. 반면, 오른쪽과 같이 대부분의 확률 질량이 하나 또는 일부의 토큰에 집중되어 뾰족한 분포를 나타내기도 하죠. 

(*확률 분포의 형태를 Temperature을 통해 조절하기도 하는데, 밑에서 더 말씀드리겠습니다.)

오른쪽 분포처럼 일부 토큰들의 확률이 매우 높은 경우, k값 이 작으면 밋밋하거나 일반적인 텍스트가 생성될 위험이 있습니다. 반대로 k 값을 너무 크게 설정하면 샘플링 시 Top-k 어휘 집합에 부적절한 후보 단어들이 포함되어, 텍스트 품질이 저하될 위험이 있어요.

Top-k 샘플링은 고정된 상위 k 개의 토큰을 샘플링하여 출력 후보군에 포함시켰다면, Top-p 샘플링은 상위 토큰들의 누적 확률이 p% 이상이 되도록 하는 토큰을 샘플링합니다.

앞서 두 가지 확률적 샘플링 기법을 알아보았는데요. 샘플링 기법은 모델이 다음에 나올 단어를 고를 때, 확률 분포에서 어떤 단어를 선택할지를 결정하는 과정입니다. 반면, Temperature는 그전에 확률 분포 자체를 조정하는 역할을 합니다. Temperature 값을 높이면 확률 분포가 평평해져 다양한 단어를 선택할 확률이 커지고, 낮추면 특정 단어의 확률이 높아져 그 단어가 선택될 확률이 커집니다. 즉, Temperature는 샘플링 전에 확률 분포를 "조절하는" 역할을 합니다.

출처: Generative artificial intelligence: Toward a new civilization?

오늘은 디코딩에 사용되는 샘플링 기법과 Temperature에 대해 알아보았습니다. ChatGPT API를 사용할 때나, 혹은 언어 모델을 튜닝할 때 자주 보던 설정값들인데요. 이번 뉴스레터를 준비하며 그 원리를 깊이 이해할 수 있어 저에게도 유익한 시간이었습니다. Temperature와 Top-p를 GPT-3가 출시되던 2020년부터 현재까지 꽤 오랫동안 사용해 오고 있는 것 같은데, 이를 대체할 만한 또 다른 샘플링 기법은 언제 도입될까요? 🤔

오늘도 읽어주셔서 감사합니다.