💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• NeuroSkill과 NeuroLoop 시스템의 작동 구조를 요약했습니다.
• NeuroSkill과 NeuroLoop가 뇌 신호를 해석하는 과정과 핵심 기술을 정리했습니다.
• 이 기술이 보조 기술과 일상에서 어떻게 활용될 수 있는지 소개했습니다. 

지난 호 <#134 전부 보지 않아도 된다>의 본문 내 오류가 있어 정정합니다. 336 픽셀짜리를 16x16의 패치로 나누는 것이 아니라 14x14로 나누어야 24x24개의 패치가 나오게 됩니다. 앞으로는 더욱 주의 깊게 검토하여 양질의 뉴스레터를 발행하도록 하겠습니다. 감사합니다. 

안녕하세요, 에디터 스더리입니다!

혹시 ‘뇌-컴퓨터 인터페이스(BCI)’라는 분야를 들어보신 적 있나요? BCI(Brain Computer Interface)는 인간의 뇌 신호를 컴퓨터와 연결해, 생각이나 정신 상태를 디지털 신호로 해석하려는 기술입니다. 지금까지의 AI는 우리가 입력한 텍스트나 음성을 이해하는 데 집중해왔습니다. 하지만 최근에는 한 단계 더 나아가, 우리가 직접 표현하지 않은 ‘마음의 언어’를 실시간으로 이해하는 단계에 접어들고 있습니다.

출처: Technology Networks

이 변화의 중심에 서 있는 시스템이 바로 NeuroSkill과 NeuroLoop입니다. MIT 미디어 랩 연구진이 공개한 이 시스템은 뇌파와 생체 신호를 단순한 데이터가 아닌 하나의 ‘상태(State of Mind)’로 모델링합니다. 다시 말해 AI가 인간의 감정, 집중도, 피로도 같은 내적 상태를 실시간으로 읽고 해석할 수 있도록 만드는 것이죠. 과연 AI는 우리의 마음 속에서 어떤 단서들을 찾아내고 있을까요? 

이 시스템의 구조는 인간의 신경계와 꽤 닮아있습니다. 우리의 몸에서 발생하는 신호를 수집하는 감각 기관과 그 신호를 해석해 행동을 결정하는 뇌가 있듯이, NeuroSkill과 NeuroLoop는 각각 감각 기관과 뇌의 역할을 수행합니다.

출처: NeuroSkill(tm): Proactive Real-Time Agentic System Capable of Modeling Human State of Mind
(Kosmyna, N., & Hauptmann, E., 2026)

먼저 NeuroSkill입니다. NeuroSkill은 사용자의 상태를 파악하기 위해 다양한 생체 신호를 수집하고 이를 해석 가능한 형태로 변환하는 역할을 합니다. 대표적인 BCI 웨어러블 장치인 Muse나 OpenBCI를 통해 뇌파(EEG, Electroencephalography)와 심박 관련 신호(PPG, Photoplethysmogram)를 실시간으로 수집합니다. 이렇게 수집된 신호는 즉시 전처리되며 타임스탬프와 함께 정리되고, 이를 바탕으로 다양한 신경·생체 지표가 계산됩니다.

그렇다면 이렇게 수집된 데이터를 그대로 모델에 입력하면 될까요? 이전에도 유사한 시도는 있었지만, 몇 가지 어려움이 존재했습니다. 뇌 신호는 개인마다 서로 다른 패턴으로 나타나며, 신호 자체에 노이즈가 많기 때문입니다. 또한 뇌파는 일정 시간 구간(Window)을 모아 분석해야 의미 있는 패턴을 찾을 수 있어, 이 과정에서 지연이 발생하기도 합니다. 결국 이 문제의 핵심은 속도와 안정성을 동시에 확보하는 것이었습니다. 

이러한 병목을 해결하기 위해 NeuroSkill은 짧은 단위의 신호를 연속적으로 해석하는 스트리밍 구조를 채택합니다. 이를 위해 Rust 기반의 고성능 처리와 GPU 병렬 연산을 결합하여, 여러 채널과 주파수 대역, 다양한 지표 계산을 동시에 수행할 수 있도록 했습니다. 

그 결과, 전극에서 측정된 데이터가 화면에 반영되기까지의 지연 시간은 약 125ms로, 이는 인간이 시각적 자극에 반응하는 속도와 유사한 수준이라고 합니다. 또한, 60개 이상의 생체 지표를 초당 약 4회(4Hz) 지속적으로 업데이트하여, 사용자의 ‘마음 상태(Human State of Mind)'를 정교하게 모델링합니다.

💡 NeuroSkill이 계산하는 주요 신경·생체 지표

기존의 뇌파 분석은 주로 델타, 세타, 알파, 베타와 같은 주파수 대역별 에너지(Band Power)를 기본적인 지표로 활용해왔습니다. 이러한 방식은 현재도 널리 사용되지만, 단일 지표만으로는 복잡한 인지 상태나 감정 변화를 충분히 설명하기에는 한계가 있습니다.

• 뇌파 기반 지표(EEG Metrics): 앞서 언급한 뇌파 대역의 전력뿐 아니라, 집중도(Engagement), 이완(Relaxation), 인지 부하(Cognitive Load) 등 복합적인 뇌 상태 지표도 함께 계산됩니다. 또한 Theta/Beta Ratio(TBR), Theta/Alpha Ratio(TAR)과 같은 집중 관련 지수와, 정서 상태와 관련된 FAA(Frontal Alpha Asymmetry)와 같은 신경과학 지표도 포함합니다.
• 심혈관 및 행동 지표: 심박수(HR), 심박 변이도(HRV)와 같은 생리 신호와 눈 깜박임이나 머리 움직임 같은 행동 정보도 함께 분석합니다. 이를 통해 사용자의 스트레스 수준, 각성 상태 등을 보다 입체적으로 추정할 수 있습니다. 
• 특수 연구 지표: 의식의 복잡성을 반영하는 지표나 자동 수면 단계 분류(Wake, N1, N2, N3, REM) 같은 분석도 포함됩니다. 이는 사용자의 인지 및 생리 상태를 보다 깊이 있게 이해하기 위해 확장된 분석입니다.

출처: NeuroSkill(tm): Proactive Real-Time Agentic System Capable of Modeling Human State of Mind
(Kosmyna, N., & Hauptmann, E., 2026)

그러나 뇌파 데이터는 그대로 이해하기 어려운 복잡한 신호입니다. 여기서 뇌파 데이터를 AI가 이해할 수 있는 형태로 번역하는 모델, ZUNA 파운데이션 모델이 등장합니다. ZUNA는 트랜포스머 기반 인코더로, 약 5초 단위의 뇌파 신호를 32차원의 신경 임베딩(Neural Embedding)으로 변환합니다. 우리의 마음 상태를 AI가 비교하고 탐색할 수 있는 숫자 공간으로 번역하는 것이죠.

출처: NeuroSkill(tm): Proactive Real-Time Agentic System Capable of Modeling Human State of Mind
(Kosmyna, N., & Hauptmann, E., 2026)

이렇게 생성된 임베딩은 MIT에서 개발한 3D 시각화 도구인 Brain Nebula라는 공간에 저장됩니다. 이 공간에서는 각각의 정신 상태가 하나의 점처럼 표현되며, 비슷한 감정이나 집중 상태일수록 서로 가까이 위치하게 됩니다. 시스템은 벡터 검색(HNSW 기반 유사도 검색)을 통해 수많은 과거 상태 가운데 현재와 가장 비슷한 순간을 빠르게 찾아낼 수 있습니다.

Brain Nebula는 단순 저장 공간을 넘어 하나의 ‘지도’처럼 작동합니다. 32차원의 고차원 임베딩은 차원 축소 기법을 통해 3차원 공간으로 시각화되며, 사용자가 기록한 텍스트나 상황 정보와도 연결됩니다. 그 결과 AI는 현재의 감정 상태가 과거의 어떤 경험과 연결되어 있는지를 탐색하고, 사용자의 상태를 더 깊이 이해할 수 있게 됩니다.

출처: NeuroLoop

이렇게 번역된 마음의 상태를 바탕으로 실제 행동을 결정하는 시스템이 바로 NeuroLoop입니다. NeuroLoop는 사용자의 현재 상태와 목표를 지속적으로 비교하며 판단을 내리는 에이전트 루프(Agentic Loop) 구조로 작동하며, 이 과정은 AI 에이전트와 생체 데이터를 안전하게 연결하고 제어하는 ‘에이젠틱 하네스(Agentic Harness) 위에서 수행됩니다.

예를 들어, 사용자가 “지금 너무 졸려”라고 말하면, 시스템은 단순한 텍스트 의미를 넘어서 최근 수면 패턴, 뇌파 기반 피로 지표, 심박 변화, 집중도 추이와 같은 데이터를 함께 불러옵니다. 이후 이러한 정보를 바탕으로 현재 상태를 재해석하고, 휴식이나 집중 회복에 도움이 되는 행동을 제안합니다.

그렇다면 NeuroLoop는 어떤 기준을 바탕으로 이러한 판단을 내릴까요? 이 과정에서 중요한 역할을 하는 것이 바로 에이전트 명세 파일(Agent Specification)입니다. 연구진은 이 구조를 누구나 읽고 수정할 수 있도록 마크다운(.md) 기반의 문서 형태로 설계했습니다.

💡 NeuroLoop의 에이전트 명세 파일

이러한 구조는 기존의 AI 시스템과 차이가 있습니다. 최근에는 OpenClaw와 같은 시스템처럼 프롬프트나 명세 파일을 통해 에이전트의 행동을 정의하는 방식이 점점 확산되고 있는데요. 모델 내부에 행동 방식이 숨겨져 있는 기존의 서비스들과 달리, NeuroLoop에서는 에이전트의 목표, 성격, 기억 구조가 명시적인 문서 형태로 외부에 드러나 있습니다. 따라서 사용자는 AI가 어떤 원칙으로 행동하는지 확인하고, 직접 규칙을 수정하거나 새로운 행동 지침을 추가해 자신의 필요에 맞게 개인화된 시스템으로 발전시킬 수 있습니다.

더 나아가, 이 에이전트는 실행 과정에서 자신의 판단 기준을 조정할 수 있습니다. 예를 들어 특정 개입이 반복적으로 효과가 없을 경우, 관련 규칙이나 임계값을 수정하거나 다른 전략을 우선하도록 내부 설정을 재구성할 수 있습니다. 이처럼 NeuroLoop는 추가 데이터를 수집하고 기존 정보를 재해석하는 동시에, 소스 코드와 명세 파일 수준에서 동작 방식을 점진적으로 갱신하며 의사결정을 계속해서 업데이트합니다. 이때, 무분별한 수정을 막기 위해 가장 핵심적인 로직은 읽기 전용으로 보호되어 에이전트가 마음대로 바꿀 수 없도록 설계되었습니다.

이 모든 복잡한 과정에서 가장 놀라운 점은 이것이 클라우드가 아닌 사용자의 컴퓨터 내부에서만(Offline-First) 이루어진다는 것입니다. 연구진은 민감한 뇌 데이터가 외부 서버로 전송되지 않도록 대부분의 분석 과정이 사용자의 컴퓨터나 모바일 기기 안에서 직접 수행되도록 설계했습니다.

이러한 설계는 단순히 데이터를 로컬에 저장하는 것을 넘어섭니다. 시스템은 별도의 계정 생성이나 로그인 절차를 요구하지 않으며, 이메일이나 사용자 식별자 같은 정보도 수집하지 않습니다. AI 모델 역시 외부 서버를 호출하지 않습니다. 뇌파 신호 처리와 ZUNA 인코더 기반 분석 과정은 모두 기기의 CPU나 GPU에서 직접 실행되며, 모델 가중치 역시 로컬에 저장됩니다. 데이터는 CSV나 SQLite와 같은 표준 포맷으로 기록되어 사용자가 직접 관리할 수 있고, 필요하다면 데이터 폴더를 삭제하는 것만으로 모든 기록을 완전히 제거할 수도 있습니다. 이처럼 NeuroLoop는 개인의 권리를 침해하지 않으면서도 사용자에게 최적화된 AI 환경을 제공합니다.

이 기술이 흥미로운 이유는 단순히 뇌 신호를 분석하는 데서 끝나지 않기 때문입니다. AI가 사용자의 마음 상태에 맞춰 ‘어떻게 행동할지’ 결정하기 때문입니다. 연구진이 소개한 사례 중 하나는 공항에서의 상황입니다. 폭설로 인해 비행기가 결항되고 중요한 가족 행사를 놓치게 된 상황을 떠올려봅시다.

생성형 이미지: ⓒ deep daiv.

이러한 순간에 AI가 “심호흡을 해보세요”라고 말한다면 오히려 더 화가 날 수도 있습니다. 하지만 NeuroLoop는 조금 다르게 행동합니다. 사용자의 스트레스와 감정상태를 분석한 뒤, 때로는 아무 말도 하지 않는 침묵(Inaction)을 선택합니다. 대신 “필요할 때 언제든 저를 부르세요”라는 메시지를 남기며 사용자가 감정을 정리할 시간을 주는 것입니다. 무조건적으로 문제에 대한 해결책을 제시하기보다, 지금 이 순간에 필요한 반응이 무엇인지 판단하는 것이죠. 개인적으로는 AI가 맞춤형 전략을 주며 계속 개입하지 않고, 때로는 아무것도 하지 않기로 결정한다는 점이 인상적으로 느껴졌습니다.

이 기술은 보조 기술(Assistive Technology) 분야에서도 큰 가능성을 보여줍니다. 예를 들어 루게릭병(ALS) 환자나 무발화 자폐(mvASD) 아동처럼 언어로 의사를 표현하기 어려운 사람들에게 새로운 소통 창구가 될 수 있습니다.

눈 깜박임, 턱 근육의 미세한 움직임, 머리 움직임과 같은 비언어적 신호는 사용자의 의도를 비교적 직접적으로 드러내는 단서로 사용되는데요. 여기에 뇌파 기반의 상태 정보가 결합되면, 시스템은 사용자의 집중 상태나 피로도와 같은 맥락까지 함께 고려하게 됩니다. 이 접근은 Neuralink와 같은 뇌-컴퓨터 인터페이스 연구와도 맞닿아 있지만, 비침습적인 센서를 기반으로 일상 환경에서 구현된다는 점에서 또 다른 방향성을 보여줍니다. 또한 같은 신호라도 개인마다 다른 의미를 가질 수 있기 때문에 시스템은 사용자마다 다른 신호 패턴을 학습하며 점차 해석 방식을 조정해 나갑니다. 그 결과 사용자에게 개인화된 ‘신경 언어’가 형성됩니다.

이 시스템은 우리의 일상에서도 다양한 방식으로 활용될 수 있는데요. 공부를 하다 집중력이 떨어지면 의미 없이 콘텐츠를 계속 내려보는 스스로를 발견하신 적은 없으신가요? 이러한 현상을 ‘둠스크롤(Doomscrolling)’이라고 합니다. NeuroLoop는 이런 순간 집중도 변화를 감지하여 휴식이나 집중 회복을 위한 행동을 제안할 수 있습니다. 반대로 공부를 시작하거나 작업에 집중을 하기 시작하면 자동으로 ‘방해 금지 모드’를 켜, 사용자가 몰입을 유지할 수 있는 환경을 조성합니다.

이처럼 NeuroSkill과 NeuroLoop가 보여주는 가능성은 단순히 뇌 신호를 분석하는 기술을 넘어섭니다. 우리가 AI에게 무엇을 입력할지 고민하기보다, AI가 우리의 상태를 이해하고 먼저 반응하는 시대가 올지도 모릅니다. 과연 AI가 우리의 마음을 완전히 이해하는 날이 올까요?

하지만 이러한 기술이 발전할수록 자연스럽게 떠오르는 질문도 있습니다. 만약 AI가 이해한 마음이 우리가 느끼는 마음과 다르다면, 그때 틀린 것은 AI일까요, 스스로의 마음을 정확히 알지 못하는 우리 자신일까요? 어쩌면 이 기술이 던지는 질문은 AI가 인간을 얼마나 정확히 이해할 수 있는가가 아니라, 우리가 인간의 마음을 기술로 다루는 시대를 어떻게 받아들일 것인가일지도 모릅니다.