💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• Skill Discovery의 개념을 소개했습니다.
• DIAYN 알고리즘의 핵심 아이디어를 정리했습니다.
• Skill Discovery의 내재적 보상 원리를 설명했습니다.

안녕하세요. 에디터 느리입니다🏀

그 이야기를 하기 전 먼저 강화학습(Reinforcement Learning, RL)의 한계부터 짚어야 합니다. 강화학습은 스스로 환경을 탐색하며 배우는 장점을 지녔지만, 희소 보상(Sparse Reward) 문제를 갖고 있습니다.

희소 보상이란 강화학습에서 보상 신호가 매우 드물게 제공되는 상황을 말하는데요. 학습하는 에이전트가 대부분의 상태에서는 보상을 받지 못하고, 특정 조건을 만족했을 때만 보상을 받는 환경입니다.

목적지까지 가는 길은 매우 긴데 그 과정에서 보상을 하나도 받지 못하면 에이전트는 어떤 행동이 목표 달성에 유리한지 학습하기가 어렵습니다. 탐색(Exploration)이 비효율적이고 학습 속도가 매우 느려지죠. 특히나 장기 목표(Long-horizon Task)에서는 어떤 행동이 보상에 기여했는가를 측정(Credit Assignment)하는 것이 거의 불가능합니다.

이를 해결하기 위한 접근이 바로 계층적 강화학습(Hierarchical Renforcement Leanring, HRL)입니다. HRL은 ‘무엇을 할지’를 결정하는 상위 정책과, 실제 행동을 수행하는 하위 정책으로 나뉩니다. 학습 과정에서 다양한 스킬을 미리 정의하거나 스스로 만들어두고, 상위 정책이 상황에 맞게 스킬을 선택하도록 하는 방식입니다.

그렇다면 이 스킬을 어떻게 찾아야 할까요? 해당 질문에서 비롯된 것이 바로 Skill Discovery입니다. 저희는 그중에서도 이 분야의 첫 신호탄이 된 논문, <Diversity Is All You Need> (Eysenbach et al., 2018)을 함께 살펴보겠습니다.

다이안(DIAYN)의 기본 전제는 단순합니다. 스킬은 다양할수록 좋다!

왜 그럴까요? 스킬이 적으면 에이전트가 탐색할 행동의 폭이 좁아집니다. 반대로 스킬이 많고 서로 구별된다면, 에이전트는 더 넓은 행동 공간에서 전략을 실험할 수 있습니다. 또한 인간이 “이 스킬을 써라”라고 정해주는 것은 지도학습(Supervised Learning)에 가깝습니다. 다이안 목표는 에이전트가 스스로 다양한 스킬을 찾아내는 것입니다. 인간이 상상하지 못한 방식의 스킬이 탄생할 수도 있으니까요.

그렇다면 스킬이란 무엇일까요? 다이안은 스킬을 특정 목표를 달성하는 것이 아니라 상태(State)의 변화를 만들어내는 능력으로 정의했습니다.

DAIYN Algorithm
출처: <Diversity Is All You Need> (Eysenbach et al., 2018)

먼저 학습 초기에 균등분포 p(z) 안에서 스킬 z를 하나 뽑습니다. 한 에피소드가 흘러갈 동안 z는 고정됩니다. 하나의 에피소드는 하나의 스킬을 실행하는 과정인 것이죠.

가장 위에 있는 파란색 네모는 스킬 정책(Skill Policy)입니다. 이 정책은 스킬 z와 현재 상태 s를 입력 받아 행동 a를 결정합니다. 우리는 이 정책을 “스킬에 따라 선택하는 행동이 달라지도록” 학습해야 합니다. 여기서 파라미터 θ는 학습 대상입니다. 환경(Environment)은 강화학습 환경으로, 행동 a_t가 주어졌을 때 다음 상태 s_(t+1)를 반환합니다. 그럼 맨 아래에 있는 판별기(Discriminator)가 s_(t+1)이 어떤 스킬 z에 의해 생성되었는지를 추정합니다. 이때 판별기의 목적은 스킬 간 구분 가능성(Discriminability)을 높이는 것입니다. 여기서 파라미터 Φ도 학습 대상입니다.

다이안은 보상 함수를 다음과 같이 정의했습니다. 실제로 환경에서 받는 것이 아니라 모델 내에서 주는 것이기 때문에 이것을 내재적 보상(Intrinsic Reward)라고 합니다.

q는 판별기 모델로, 지금 상태를 봤을 때 어떤 스킬이 실행 중인지 맞히는 것이 목표입니다. 만약 판별기가 정확히 맞출 수 있다면 스킬별로 생성된 상태 분포가 잘 구분된다는 것을 의미하고 그에 따라 높은 보상을 얻게 됩니다. 사실 다이안의 이론적 목표는 실제 확률 분포 p(z|s)를 이용해 상호정보량 I를 최대화하는 것이지만, 실제 환경에서 p(z|s)를 알 수는 없습니다. 때문에 이를 대신하여 판별기 q를 학습시키는 것입니다.

반면 p는 스킬의 사전 확률 분포, 즉 스킬 z가 선택될 확률을 의미합니다. -log p(z)는 정보이론적 정규화(Information-theoretic regularization) 항으로 작동합니다. 정보이론에서 이는 희귀한 사건일수록 더 큰 정보량을 가진다는 원리를 반영합니다. 자주 발생하는 스킬(확률이 높은 스킬)은 정보량이 적고, 거의 사용되지 않는 스킬(확률이 낮은 스킬)은 더 큰 정보량을 가집니다. 때문에 이 항을 보상에 포함시키면 다양한 스킬이 시도되도록 유도함과 동시에 특정 스킬의 과도한 사용을 방지해 모든 스킬이 균등하게 선택되도록 유지할 수 있죠.

다이안의 실험 결과는 단순하지만 인상적입니다. 아무런 외부 보상 없이도 에이전트는 다양한 행동 패턴을 스스로 찾아냈습니다. 예를 들어, 네 발 달린 로봇 에이전트(Ant-v1)는 어떤 스킬로는 시계 방향으로, 다른 스킬로는 반시계 방향으로 움직이는 법을 배웠습니다. 또 하나의 스킬은 제자리에서 회전하거나, 특정 방향으로 뛰어가기도 했죠.

Ant skills: 여러 방향으로 뛰어가거나 걸어가는 모습
출처: <Diversity Is All You Need> (Eysenbach et al., 2018)

이 모든 행동은 보상 없이도 서로 다른 상태 분포를 만들어내도록 학습된 결과입니다. 즉, 에이전트는 스스로 차별화된 행동을 목표로 한 셈입니다. 여기서 그들이 발견한 스킬 중 몇몇은 특정 목표를 달성하는데 전혀 소용이 없을 수도 있습니다. 중요한 점은 그렇게 만들어낸 스킬들은 이후 다른 목표를 달성하는데 사용될 가능성이 있다는 것이죠. 어떤 목표를 이해 어떤 스킬이 필요할지 모르니, 이렇게 최대한 다양하게 만들어둔 것입니다.

다이안의 접근은 완벽하지 않습니다. ‘상태 그 자체’로 스킬을 구분하기 때문에 시간적 연속성(Temporal consistency)이나 환경의 동역학(Dynamics)을 충분히 고려하지 못합니다. 단지 서로 다른 위치에 도달하는 것만으로도 스킬이 구분될 수 있는데, 이 경우 실제로는 비슷한 움직임이라도 서로 다른 스킬로 분류될 수 있죠. 이를 보안하기 위해 한 연구(Sharma et al., 2019)는 상태 자체가 아닌 ‘상태가 어떻게 변했는가’에 초점을 맞춥니다. 또한 최근에는 이렇게 학습된 스킬들을 어떻게 조합하거나 계층적으로 재활용할 수 있을지(Skill Composition, Skill Reuse)에 대한 연구도 활발합니다.

Skill Discovery는 AI가 외부의 보상 없이 스스로 행동의 의미를 발견한다는 점에서 큰 전환점이었습니다. 다이안은 단순히 다양한 행동을 만들어내자는 실험에서 출발했지만 그 결과, AI가 스스로 목표를 설정할 수 있는 가능성을 보여줬습니다. 보상이 없는 세계에서도 학습이 일어나고, 그 속에서 AI는 자신만의 방식으로 세계를 이해합니다. 인간이 단지 호기심에 이끌려 무언가를 시도하고 배우듯, AI도 ‘탐구 그 자체’를 학습 동기로 삼을 수 있는 것이 아닐까요?