💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• 머신러닝에서 ‘해석 가능성’의 의미를 요약합니다.
• 해석가능성이 필요한 이유를 짚어봅니다.
• 해석가능성을 평가하는 3가지 방법을 정리했습니다.

안녕하세요, 에디터 배니입니다.

최근 LLM 성능이 인간 수준에 상응할 정도로 향상됐다는 사실은 익히 아실 것입니다. 이제는 일반적인 목적을 넘어 특정한 목적에 맞게 LLM을 활용하기도 합니다. 의학, 법학 등 전문 지식을 다룰 수 있을 만큼 성능이 비약적으로 개선된 덕분이죠. 초기 LLM의 대표적인 문제로 지목됐던 환각 현상도 과거에 비해 많이 줄어들었고요.

하지만 활용 분야가 확장될수록 주의해야 하는 부분이 있습니다. 바로, AI 모델이 출력하는 결과는 확률적이라는 점입니다. 이런 점 때문에 AI 모델은 언제든 잘못된 답변을 내놓을 가능성을 유의해야 하고, AI를 오남용하거나 AI에 과의존하는 경우 큰 문제를 야기할 수 있죠. 특히나 결과의 근거가 중요한 분야에서 활용할 때는 모델이 추론한 근거를 설명할 수 있어야 합니다.

이는 단순히 궁금증을 해소하는 것에 그치지 않고 법적으로도 중요한 문제입니다. EU에서 시행 중인 GDPR(일반 개인정보 보호법)에 따르면 ‘자동화된 결정’을 내릴 때는 개인정보가 어떻게 처리됐는지 투명하게 밝힐 수 있어야 하고, 정보를 제공할 때는 투명하고 이해하기 쉽도록 해야 합니다.

AI 결과에 대한 해석의 어려움은 널리 알려져 있었습니다. 이른바, 블랙박스(Blackbox) 모델이라 불리며 그 내부의 작동 원리를 정확히 알기 어렵다고 했죠. 때문에 해석가능성(Intepretability)에 대한 연구는 오랜 과제였습니다. 그만큼 LLM의 추론 근거에 대한 해석 가능성과 작동 원리를 소명하는 것은 더욱 중요한 연구 과제로 부상하고 있습니다. 실제로, LLM 서비스를 제공하는 OpenAI와 Anthropic 역시 계속해서 언어 모델의 추론 원리를 밝혀내기 위해 연구하고 있죠.

GPT의 모델의 가중치로 활성화되는 영역을 시각화하는 과정

출처: OpenAI 블로그 <Extracting Concepts from GPT-4>

그렇다면 AI 모델의 해석가능성이란 무엇일까요? 어떤 경우에 우리는 ‘결과를 해석할 수 있다’고 느낄까요? 이번 뉴스레터에서는 해석가능한 머신러닝 연구에 대해 정리한 <Towards A Rigorous Science of Interpretable Machine Learning>을 정리했습니다.

<Towards A Rigorous Science of Interpretable Machine Learning>은 2017년 5월 발표된 논문입니다. 당시에도 이미지 분류와 같은 일부 태스크에서는 AI 모델 성능이 이미 인간을 넘어섰다는 연구가 발표될 시절입니다. 아직 현대 딥러닝의 축을 바꾼 Transformer는 아직 등장하기 이전이고요. 현재와 시차가 있기는 하지만 이 논문은 해석가능성과 관련해 중요한 질문을 던지고 있습니다.

머신러닝에서 해석가능성(Interpretability)이란 무엇일까요? 두 가지 측면으로 이 개념을 생각해볼 수 있습니다. 첫 번째로, 실용적인 측면입니다. 사람들이 AI가 산출한 결과를 많이 쓴다면 그 자체로 해석 가능하다고 볼 수 있다는 것입니다. 결과를 해석하는 주체는 언제나 인간입니다. 인간이 해당 AI를 많이 쓴다는 것은 이미 그 결과를 타당하다고 판단했기 때문이라고 볼 수 있습니다. 만약, AI가 기대했던 결과와 전혀 다른 결과를 냈다면 그 원리에 대해 밝히는 과정이 필요했을 것이고 이 과정에서 충분히 설득하지 못했다면 이해가 어렵다고 본 것이죠. 반면, 결과를 보고 ‘아, 이해가 된다.’고 느낀다면 그 자체로 머신러닝은 어느 정도 해석가능한, 다시 말해 납득 가능한 정보를 제공한다고 볼 수 있죠.

두 번째로 정량화 가능한 대리 변수(Proxy)를 활용하는 것입니다. 모델의 결과를 두고 ‘이런 옵티마이저를 두고 이렇게 학습했다. 알고리즘의 원리는 이러하다.’고 수치와 모델의 작동 과정을 낱낱이 밝히는 방법입니다. 작동 원리에 대해 이해했다면, 결과에 대해 이해하는 것도 크게 어려운 일은 아닐 것으로 보입니다. 일부 머신러닝 모델은 간단한 구조를 가지고 있어서 실제로 어느 정도 해석가능한 결과를 보여줄 수 있습니다. 하지만 최근 발표된 많은 모델은 그렇지 않죠. 우리가 현대에 LLM 모델 구조와 데이터를 공개하더라도 정확히 어떤 원리로 결과를 생성하는지 알기 어려운 것처럼요.

여기까지 본다면 기대했던 내용이 아닐 것입니다. 정확히 ‘해석가능성’의 정의를 알려 달라고 할 수 있지만, 사실 해석이라는 것이 그리 단순한 과정은 아닙니다. 영단어 ‘Interpret’의 사전적 정의는 이해 가능한 언어로 설명하거나 보여주는 것(to explain or to present in understandable terms)입니다. ML 관점에서는 모델이 ‘인간에게’ 이해가능하도록 설명하는 능력으로 정의할 수 있습니다.

‘해석’이 ‘이해하기 쉽게 설명하는 것’이라니, 마치 동어 반복처럼 느껴지긴 합니다. 그렇다면 설명이라는 것은 또 무엇일까요. 심리학에서는 설명은 ‘우리가 신념(Belief)을 교환하는 통화(Currency)와 같다’고 말합니다. 흥미로운 관점입니다. 이 정의에 따르면 좋은 설명은 많은 신념을 가져다 줄 것입니다. 이것이 곧 해석에도 영향을 미치는 것이고요.

그렇다면 해석은 왜 해야 할까요? 모델이 모든 결과를 설명할 필요는 없지만, 앞서 언급한 것처럼 해석이 필요한 여러 측면이 존재합니다. 가치중립성, 보안, 안전성, 개인보호 등 다양한 관점에서 이를 활용할 수 있죠. 그보다 더 근본적으로 들어가, 모델이 인간에게 원리를 왜 설명해야 하느냐고 묻는다면 결국 모델이 지닌 근본적인 불완전성(Incompleteness) 때문이라고 할 수 있습니다.

불완전성과 불확실성(Uncertainity)은 비슷해 보이지만 다른 개념입니다. 예를 들어, 전쟁 시 발포하는 미사일의 위치는 여러 정보를 융합하면서 확실하게 어디에 있다고 말하기 어려운 불확실성을 지니고 있지만, 여러 추정치를 종합해 논리적으로 추론할 수 있습니다. 이렇게 미지의 요소가 정량화된 분산을 초래하는 경우를 불확실성이라고 보지만, 정량화되지 않은 어떤 요소가 편향을 초래한다면 이는 불완전성으로 봅니다. 가령, 모델 선택 과정에서 도메인 지식을 활용한다면 이는 정량화하여 추정하기 어렵습니다. 이런 경우 모델이 불완전성이 내포하고 있다고 볼 수 있죠.

연구진은 해석가능성을 평가하는 방법을 3가지로 분류합니다.

1. 실용적 평가 (Application-grounded Evaluation)

실용적 평가는 모델이 데이터를 처리하는 과정을 전문가들이 실제로 확인하며 평가하는 것입니다. 예를 들어, 모델이 특정 질병을 진단한다고 할 때, 전문의가 의사 결정 내리는 방식과 비교하여 평가하는 것입니다. 신뢰할 수 있는 인간 전문가와 비교해 평가한다는 점에서 ‘믿음’의 가치는 더욱 커집니다. 즉, 설명의 효과가 더 크면서 동시에 더욱 높은 해석가능성을 보유하고 있다고 볼 수 있죠. 또한 시스템이 의도한 작업을 그대로 수행하는지 확인할 수 있다는 점에서 강한 윤리성을 보장합니다.

예를 들어, LLM이 어떤 문제를 풀면서 풀잇법까지 설명하라는 요청을 받았습니다. 요청에 따라 문제 풀이 과정을 추론하는데, 이것이 수학 강사의 설명과 일치한다면 해석가능성이 높다고 볼 수 있겠죠. 문제는 한 모델이End-to-end 디자인으로 입력부터 출력까지 담당한다면 평가가 어렵다는 점입니다.

2. 인간 기반 지표 (Human-grounded Metrics)

인간 기반 지표는 비전문가가 평가하지만 다수의 의견을 따르는 방식입니다. 실용성 기반 평가는 전문가를 초빙해야 한다는 점에서 비용이 많이 들지만, 일반인에게 맡기면 더 많은 피험자를 모으면서 비용을 절감할 수 있습니다. 다만, 전문성이 부족한 만큼 일반 개념을 평가할 때 더 적합한 지표겠죠.

이후에 등장한 ChatGPT의 근간이 된 InstructGPT에서는 이 개념을 응용해 모델이 생성한 답변을 기반으로 평가를 내립니다. 덕분에 모델의 설명이 더욱 구체화되고, 마치 ChatGPT가 우리에게 설명하듯 답변을 생성하는 것이 가능해졌죠. 이런 점은 앞서 언급한 실용적 측면에서 해석가능성이 높다고 볼 수 있습니다.

3. 기능적 평가 (Functionally-grounded Evaluation)

기능적 평가는 인간 실험이 필요 없다는 점에서 큰 장점으로 꼽힙니다. 대신에 설명을 대신할 수 있는 지표가 필요하죠. 그리고 이를 최적화하는 방법을 입증해야 합니다. 예를 들어, 의사 결정 나무(Decision Tree) 모델의 경우, 최적화하는 과정에서 데이터가 분류되는 기준이 명확합니다. 다른 모델에서도 역시 어떤 지표(일반적인 손실함수) 최적화하기 위해 학습됐다고 말한다면 어느 정도 모델을 설명할 수 있죠.

오늘 소개한 논문은 모델의 작동 원리를 밝혀내는 것만으로 ‘해석’이라고 보지 않습니다. 해석은 인간에게 믿음을 줄 수 있는 설명을 동반해야 합니다. 아무리 작동 원리를 밝혀냈다고 해도, 이를 납득하기가 어렵다면 적절한 해석이라고 보기 어려울 것입니다. 최근 연구 역시 적절한 해석과 합리적인 추론을 위해 적절한 평가 지표를 개발하거나, 시각화 방법을 연구하는 데 있습니다.

AI의 영향력이 커지면서 이제는 결과에 대한 책임, 실수에 대한 교정 가능성 등을 종합적으로 검토해야 합니다. AI와 인간의 상생을 위해서는 믿음을 공유해야 하고, 이 믿음의 정도는 설명의 정도로 볼 수 있죠. 때문에 오늘날에는 해석의 범위를 더욱 넓게 고려해야겠죠. 이런 점을 고려해야 AI는 우리에게 더욱 믿음을 줄 수 있으니까요.