먼저 사람들이 컴퓨터를 사용하는 동안 어떤 프로그램을 열고 무엇을 검색하는지 등의 활동 기록을 수집했습니다. 이후 LLM에 이 기록을 보여주고 필요한 작업을 예측하게 한 뒤, 사람들이 제안을 받아들일 만한지 평가하도록 했죠.

이렇게 수집한 사람들의 판단을 바탕으로 보상 모델(Reward Model)을 학습시켰습니다. 사람이 직접 평가하지 않아도 제안이 받아들여질 만한지 예측할 수 있도록 한 것이죠. 연구진은 이를 활용해 다양한 상황과 사용자 반응을 시뮬레이션하고, 코딩·글쓰기·일상생활에 걸친 6,790개의 학습 이벤트로 구성된 ProactiveBench를 구축했습니다.

이 데이터로 학습한 Qwen2-7B 모델의 F1-Score(정밀도와 재현율의 조화평균)는 60.74%에서 66.47%로 향상됐고, 불필요한 제안으로 판정된 비율(False Alarm)도 56.00%에서 50.22%로 줄었습니다. 두 지표 모두 개선됐지만, 여전히 제안의 절반가량이 불필요하다고 평가된 것입니다. 실제로 사용하는 AI 비서라면 이처럼 잦은 불필요한 제안이 오히려 사용자에게 방해가 될 수 있겠죠.

이를 위해 연구진은 Big Five 성격 특성(성격을 다섯 차원으로 설명하는 대표적인 심리학 모델)을 바탕으로 32명의 페르소나를 구성하고, 각각 나이와 직업, 관심사, 생활 습관, 장기 목표를 설정했습니다. 사용자 에이전트는 이러한 특성에 따라 가상의 집에서 매일 아침 하루 일과를 계획하고, 10~30분 단위로 활동을 이어갑니다. 그동안 AI 비서는 2.5분마다 사용자의 상황을 살펴보며 도움을 제안할지, 제안한다면 어떤 도움을 건넬지 결정합니다. 물론 아무것도 제안하지 않는 것도 하나의 선택지입니다.

연구진은 먼저 사람들이 AI 비서의 제안을 평가할 때 무엇을 중요하게 생각하는지 알아보기 위해 353명을 대상으로 설문조사를 진행했습니다. 그 결과를 바탕으로 Personal Preference(개인 취향에 맞는지), Frequency(제안 빈도가 적절한지), Timing(지금이 적절한 순간인지), Communication & Safety(말투와 전달 방식, 안전성은 적절한지)라는 네 가지 기준을 정했습니다. 다만 무엇을 적절한 제안으로 평가할지는 사용자마다 다를 수 있습니다. 예를 들어 타이밍을 평가하더라도 누군가는 아침에 제안을 받는 것을 선호하고, 다른 누군가는 저녁에 받는 것을 선호할 수 있겠죠.

연구진은 이러한 차이를 반영하기 위해 GPT-4o를 활용해 각 페르소나에 맞는 평가 기준을 만들었습니다. 예를 들어 은퇴한 교사 페르소나는 오전 9시쯤 화분에 물을 준 뒤나 저녁에 휴식을 취할 때, 하루 두세 번 정도 부드러운 말투로 제안을 받는 것을 선호하도록 평가 기준을 설정했습니다.

AI 비서는 사용자 에이전트의 평가를 바탕으로 학습합니다. 매번 두 개의 후보를 만들고, 사용자 에이전트가 더 높게 평가한 제안과 그렇지 않은 제안을 비교해 학습 데이터로 저장합니다. 하루가 끝나면 이 데이터를 활용해 DPO(Direct Preference Optimization) 방식으로 모델을 학습시킵니다. 더 좋은 평가를 받은 선택을 할 가능성을 높이는 방식이죠.

먼저 연구진은 미국 인구통계 자료를 바탕으로 만든 Nemotron-Personas-USA 데이터셋에서 1,000명의 페르소나를 선정했습니다. 그리고 각 페르소나의 일주일간의 활동과 AI 비서의 제안에 대한 반응을 시뮬레이션해 약 10만 개의 상호작용 데이터를 만들었습니다.

이때 사용자 선호는 다섯 가지 차원으로 구분했습니다. Scheduling Preference(언제 제안을 받고 싶은지), Domain Prioritization(어떤 일을 중요하게 생각하는지), Autonomy Level(AI가 어디까지 스스로 행동해도 되는지), Communication Style(어떤 말투와 설명 방식을 원하는지), Context Adaptation(상황에 따라 어떻게 다르게 반응해야 하는지)입니다. 예를 들어 배송 알림을 평일 오후 6시 이후에 받고 싶어 하는 선호는 Scheduling Preference에, 물건을 구매하기 전에 허락을 구하길 원하는 선호는 Autonomy Level에 해당합니다.

연구진은 약 10만 개의 시뮬레이션 데이터와 다섯 가지 선호 차원을 활용해 Llama-3.2-3B 모델을 파인튜닝했습니다. 단순히 적절한 응답을 생성하는 것뿐 아니라, 현재 상황에서 어떤 선호 차원이 중요한지도 함께 학습시켜 처음 만나는 사용자에게도 적절하게 반응할 수 있도록 한 것이죠.

두 번째 단계에서는 실제 사용자의 피드백에 맞춰 이 모델을 개인화합니다. 예를 들어 사용자가 업무 중에 받은 알림을 거절하거나 더 짧은 답변을 원한다고 알려주면, 이후의 제안 시점이나 전달 방식을 바꾸는 것이죠. 이를 위해 연구진은 Activation Steering을 활용했습니다. 사용자마다 모델을 다시 학습시키지 않고도 피드백을 반영할 수 있으며, 이 과정을 사용자의 기기 안에서 처리하도록 설계했습니다.

다만 가상 페르소나를 많이 활용한다고 반드시 더 좋은 결과를 얻는 것은 아니었습니다. 연구진이 페르소나 수를 10명, 100명, 1,000명으로 늘려가며 실험한 결과, 10명에서 100명으로 늘렸을 때는 성능이 크게 개선됐지만, 1,000명으로 늘렸을 때는 일부 지표가 오히려 소폭 낮아졌습니다. 연구진은 페르소나 수를 늘려도 새로운 선호 패턴이 충분히 추가되지 않는 포화 현상으로 이를 해석했습니다. 단순히 가상 사용자 수를 늘리기보다 얼마나 다양한 상황과 선호를 담아내는지가 중요하다는 것이죠.

실제 사용자 연구에도 한계가 있습니다. 연구진은 스마트폰에서 AI 비서가 작동하도록 구현했지만, 34명의 참가자를 대상으로 한 평가는 일상생활을 묘사한 시나리오를 바탕으로 진행했습니다. 실제 생활에서 장기간 사용하며 검증한 결과는 아닌 것이죠.

또한 사용자가 AI 비서의 제안을 무시했을 때 그 이유를 정확히 알기 어렵다는 문제도 남아 있습니다. 현재 시스템은 무반응을 부정적인 피드백으로 처리하지만, 실제로는 제안이 마음에 들지 않아서일 수도 있고, 단순히 바쁘거나 다른 상황에 집중하고 있었기 때문일 수도 있습니다.

결국 아무리 다양한 가상 사용자를 통해 학습하더라도, 실제 사용자가 언제 어떤 도움을 원하고, 무엇을 불편해하는지는 직접 상호작용하며 알아가야 합니다.