💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• 얀 르쿤이 제안한 세계 모델에 대해 정리합니다.
• 인간과 같은 추론을 하는 JEPA 모델에 대해 설명합니다.
• 기계와 인간이 세상을 이해하는 방법에 대해 재고합니다.

안녕하세요, 에디터 민재입니다.

지난 뉴스레터에서 이미 얀 르쿤이 제안한 세계 모델의 개념과 이를 구현하는 데 사용할 시스템 아키텍처의 각 모듈에 대해 설명했습니다. 그러면 아래 그림과 같이 나타나는 시스템 아키텍처의 각 모듈은 무엇을 의미하고, 어떻게 작동해야 할 지를 구체적으로 알아보겠습니다.

지능을 가진 에이전트가 과제를 수행하는 과정은 인지-행동 루프(Perception-Action Loop)로 이해할 수 있습니다. 이 과정은 두 가지 형태(Mode)로 나타나는데, Mode-1에서는 복잡한 추론이 필요하지 않고 지각의 결과 즉각적인 행동이 취해집니다. 반면 Mode-2에서는 추론과 계획을 통해 가능한 여러 행동에 대한 비용을 신중하게 계산합니다. 이런 두 가지 양상은 심리학자 대니얼 카너먼이 제안한 시스템 1, 2와 매우 유사합니다.

Mode-1에서는 지각 모듈(Perception Module)이 추정한 외부 상태(Estimated state of the world)를 바탕으로 행동 모듈(Actor Module)이 즉시 다음 행동을 결정합니다. 행동 모듈은 정책 모듈(Policy Module)과 행동 최적화기(Action Optimizer)로 구성되는데, Mode-1에서는 Policy Module이 사용됩니다. 반면 Mode-2에서 Actor는 일련의 행동을 제안하고, World Model은 행동의 결과로 나타날 수 있는 외부의 상태를 예측합니다. 그리고 각각의 상태에 대한 에너지를 비용 모듈(Cost Module)이 계산합니다.

Mode-2를 사용하는 것은 번거로운 일입니다. 에이전트는 하나의 세계 모델을 가지고 있기 때문에, 복잡한 일이 주어진다면 인간과 마찬가지로 한 번에 하나의 일에 집중할 수밖에 없습니다. 그런데 사람은 처음에는 복잡한 것처럼 보이는 일도 점차 익숙해지면 많은 에너지를 들이지 않고도 쉽게 해냅니다. 그렇다면 이를 모방하는 기계 또한 Mode-2에서 Mode-1으로 전환할 수 있어야 합니다. 그래서 에이전트는 Policy Module을 사용한 예측의 결과가 Mode-2의 결과와 비슷해지도록(Approximate) 학습을 통해 정책을 수정합니다. 마치 새로운 기술을 학습하는 것처럼 말이죠.

Cost Module은 에이전트가 현재 상태에서 갖는 불편함(Discomfort) 또는 에너지(Energy)를 측정하고, 이를 최소화하는 방향으로 행동을 결정합니다. 이때 Cost는 두 가지 요소로 구성되는데 각각 Intrinsic Cost(IC)와 Trainable Critic(TC)입니다. IC는 변하지 않는 고정된 비용으로, 본능적인 반응을 기반으로 에너지를 측정하며, 에이전트가 생존과 같은 근본적인 욕구를 갖도록 합니다. TC는 학습과 적응을 통해 변화하는 값으로, 장기적인 결과를 예측하는 데 사용되는 비용입니다.

얀 르쿤의 World Model이 어떻게 구성되는지는 알았습니다. 그렇다면, 실제로 이 모델을 구현하고 훈련하기 위해서는 어떤 방법이 필요할까요? 그는 World Model 학습이 자기 지도 학습(Self-Supervised Learning, SSL)을 통해 이뤄질 수 있다고 했습니다. SSL은 패턴 완성하기(Pattern Completion)로 이해할 수 있는데, 얀 르쿤은 World Model의 목표가 세상의 상태에 대한 표현을 예측하는 것이라고 했습니다.

📖 표현(Representation)이란?

얀 르쿤은 World Model이 세상을 예측하는 방식을 ‘Predicting future representations of the state of the world’라고 설명합니다. 직역하면 ‘세계의 상태에 대한 미래의 표현을 예측’한다는 것인데, 여기서 표현(Representation)은 어떤 의미일까요?

일반적으로 딥러닝 분야에서 표현은 원본 입력 데이터가 어떤 처리 과정에 의해 추상화된 결과를 의미합니다. 개념은 그 자체로는 기계에 입력될 수 없기 때문에 적절한 형태로 변환해 줘야 합니다. 이 변환 과정을 임베딩(Embedding)이라고 하며, 임베딩의 결과로 어떤 개념에 대한 표현이 생성됩니다.

이 표현은 n차원의 벡터이며, 벡터의 각 열은 특성(Feature)이라고 합니다. 각각의 Feature가 의미하는 바를 정확히 알기는 어렵지만, 모두 특정한 의미를 지니며, 그 값이 유사할수록 의미론적 유사성(Semantic Similarity)을 띠게 됩니다. 예를 들어, 강아지와 고양이의 표현 사이의 거리는 강아지와 자동차의 표현보다는 가깝게 나타납니다.

미래의 표현을 예측한다는 것은 단순히 입력 x의 결과가 하나의 정해진 출력 y에 대응하는 것과는 조금 다릅니다. 얀 르쿤의 세계 모델은 그럴듯하게 이어지는 미래(Plausible Continuation)를 예측하며, 그 미래는 무수히 많을 수도 있습니다. 각각의 미래가 그럴듯한지는 Energy-Based Model(EBM)로 설명할 수 있습니다. EBM은 y가 x에 대한 합리적인 예측이라면 낮은 에너지를 출력하고, 그렇지 않다면 높은 에너지를 출력합니다.

그런데 모델이 다양한 그럴듯한 미래를 예측하게 하려면 어떤 방법이 필요할까요? 여기서 잠재 변수(Latent Variable)라는 개념이 등장합니다. 잠재 변수에는 직접 관찰되지는 않았지만, 추론을 통해 알 수 있는 정보가 담깁니다. 즉, 여기에는 입력 x에서 직접적으로 알 수는 없는, x와 y의 관계가 포함됩니다. 예를 들어 x가 갈림길에 들어서는 자동차의 사진이고, y는 몇 초 후 갈림길 중 한 쪽으로 진입한 자동차의 사진이라고 하겠습니다. 그러면 잠재 변수 z에는 자동차가 나아갈 수 있는 방향에 대한 정보가 담길 것입니다. 만약 y가 왼쪽 갈림길에 들어선 자동차의 사진이고, z에 그런 선택을 한 상황이 표현되었다면, EBM은 낮은 에너지를 출력할 것입니다. 이처럼 잠재 변수는 모델이 불확실한 미래를 예측할 수 있게 해줍니다.

얀 르쿤의 World Model은 또 다른 중요한 특징을 갖습니다. 바로 인코더를 통과한 입력과 출력의 표현이 예측 과정에 사용된다는 것이며, 이는 생성적 방법과는 분명한 차이가 있습니다. 이 모델은 x에서 y를 명시적으로 예측하는 게 아닌, 인코딩된 입력인 s_x와 잠재변수 z를 사용해서 인코딩된 입력인 s_y를 예측합니다. 핵심은 인코딩 과정에서 중요한 정보를 제외한 사소한 세부 사항은 생략된다는 것입니다.

얀 르쿤은 생성형 모델이 불필요한 정보를 구분하는 데 어려움을 겪고, 비효율적인 예측을 한다고 지적합니다. 반면 그가 제안한 모델은 인코딩 과정에서 이런 정보는 제거하고 핵심적인 정보만을 사용합니다. 앞의 예시를 다시 생각해 보면, sx에 담긴 정보는 자동차와 갈림길에 집중되어 있고, 주변 풍경과 같은 사소한 부분은 생략되어 있을 것입니다. 우리가 예측하고자 하는 건 자동차가 나아갈 방향이기 때문입니다.

우리의 목표는 미래를 완벽하게 재구성하는 게 아니라 무엇이 그럴듯한 미래인지, 그리고 예측에 필요한 정보가 무엇인지를 생각하는 것입니다. 정리하자면 주어진 상황에서 필요한 정보만을 추출하고, 추상적인 예측을 하자는 것이죠. 그래서 얀 르쿤은 이런 모델을 JEPA(Joint Embedding Predictive Architecture)라고 명명했습니다. 단순히 미래를 재현하는 방식으로 예측하는 게 아닌, 임베딩을 예측하기 때문이죠.

그런데 인간은 계층적인 추론(Hierarchical Planning) 능력을 갖추고 있습니다. 쉽게 생각해서, 가까운 미래에 대한 추론과 먼 미래에 대한 추론이 모두 가능하죠. 우리는 먼 미래에 대한 계획을 수립할 때는 더 많이 추상화된 정보를 사용하여, 조금 더 불확실한 미래를 생각합니다. 마침 JEPA는 예측에 불필요한 정보를 제거하고 꼭 필요한 정보만 추출하는 능력이 있습니다. 이런 성질은 필요한 정보의 수준을 다르게 하는 방법으로 다양한 수준의 추상화를 가능하게 해줍니다. 결국 여러 개의 JEPA 모델을 계층적으로 연결한 H-JEPA는 인간과 같이 다양한 수준의 추론이 가능합니다.