💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• AI의 투명성이란 무엇인지 살펴봅니다.
• 알고리즘적 투명성과 시스템적 투명성에 대해 이해합니다.
• 투명한 AI를 설계하는 원칙에 대해 알아봅니다.

안녕하세요, 에디터 잭잭입니다.

오늘 뉴스레터에서는 AI가 실무에서 단독 의사결정도구로서 사용되지 않는 이유가 무엇인지에 대한 고민으로부터 시작되었는데요. 많은 사람들은 실무 의사결정에서 AI를 활용하지 않는 주요 이유 중 하나로 AI에 대한 신뢰성 부족이라고 말합니다. 그러면서 AI를 신뢰할 수 없는 이유로 투명성(Transparency)이 언급합니다. 많은 기업들이 AI 시스템의 결정 과정을 이해하지 못해 신뢰하지 않으며, 이는 AI 도입을 저해하는 요인으로 작용하는 것입니다.

투명성의 말 뜻 자체는 빛을 투과시키는 물질의 물리적 특성을 의미합니다. 또한 예로부터 투명성을 신비로운 현상으로 바라보고 ‘솔직한, 바람직한’과 같은 의미도 가지고 있습니다. 예를 들어, ‘투명한 사회’라고 하면 부패하지 않고 청렴한 사회라는 것이죠.

1979년 Michael Reddy는 “알게 된다는 것은 본다는 것(Knowing is seeing)”이라는 개념적 은유를 제시했습니다. 인간이 무언가를 알게 될 때 ‘이해하다’라고 말하는데요, 인간의 이해를 시각적으로 지식을 ‘보는 것’이라고 표현한 것입니다. 이해를 보는 것으로 개념화하는 것은 시각적 상태와 관련된 일련의 표현들, 즉 빛, 밝음, 명료성(Clarity), 그리고 투명성(Transparency)과 밀접하게 연결됩니다.

즉, 투명성에 대한 긍정적인 관념은 아는 것(Knowledge)과 이해(Understanding)에 기반한 사람의 인지적 작용에 연계되어 있습니다. 반대로, 부정적 뜻을 지닌 은유적 표현은 “어둠 속에 있는 것(Being in the dark)”과 연계되는데, 이는 ‘블랙박스(Black box)’라는 용어에 가장 뚜렷하게 나타납니다.

블랙박스라는 용어는 하버드 로스쿨 교수인 Frank Pasquale가 2015년에 쓴 『Black Box Society』로부터 대중화 되었습니다. 이 책에서는 알고리즘, 빅데이터, AI와 같은 기술이 불투명하게 작동하면서 개인의 권리와 사회적 공정성을 위협하고 있다는 점을 강조하고, 그 과정에서 내부 작동 원리가 외부에 공개되지 않는 시스템을 블랙박스로 표현하였습니다.

Frank Pasquale의 저서 『Black Box Society』 (2015)

그렇다면 블랙박스라고 지칭하는 표현이 단지 인공지능 모델만을 의미하는지, 데이터 셋을 구축하고 모델을 학습시키는 일련의 파이프라인을 의미하는지 의문이 드실 수 있습니다. 그전에 투명성과 동일한 의미라고 혼동하기 쉬운 몇 가지 용어를 언급해 보려고 합니다.

설명 가능성(Explainability)은 모델이 내린 결정을 사람이 이해할 수 있도록 설명하는 능력을 말합니다. "왜 이 모델이 A 대신 B를 추천했는가?"와 같이 주로 모델의 출력 결과에 초점을 맞춥니다.

조금 더 깊이 들어가면 해석 가능성(Interpretability)이라는 용어가 있습니다. 이는 모델의 내부 작동 방식과 구조를 사람이 이해할 수 있는 수준으로 설명하는 능력으로, 주로 모델 자체에 초점을 맞춥니다. "이 모델은 입력 데이터에서 어떤 특징(feature)을 사용하여 결과를 도출했는가?"와 같은 접근 방식을 예로 들어볼 수 있습니다.

위 두 용어는 설명 가능한 AI를 연구하는 xAI 분야에서 자주 사용되곤 합니다.

출처: MLOps, 머신러닝 파이프라인 설계

투명성에 관한 개념이 과학과 사회과학에서 어떻게 형성되었는지 추적한 Seeing without knowing 논문에서, 저자들은 좁은 범위에 집중하는 설명 가능성 영역(xAI)보다 광범위한 투명성 개념을 주장하였습니다. 투명성의 범위가 모델의 내부를 들여다보는 설명가능성과 해석가능성 뿐만 아니라, 시스템 전반을 조망해야할 필요성을 제안하죠.

이처럼 투명성은 해당 논문에서 언급한 시스템적 투명성과, xAI에서 다루는 알고리즘적 투명성으로 나눌 수 있습니다. 부연 설명을 하자면, 시스템적 투명성은 데이터셋의 특징부터 전반적인 학습 과정을 포괄하고, 알고리즘적 투명성은 모델이 입력값을 받아 출력하는 과정에 초점을 맞춥니다.

출처: Towards Transparency by Design for Artifcial Intelligence (Heike et.al, 2020)

TbD의 9가지 원칙 중 일부

• 원칙 2: 통합: 투명성을 통합적인 과정으로 생각하라
• 원칙 4: 데이터 처리: 어떤 데이터가 사용되고 있으며, 어떻게 처리되는지 설명하라
• 원칙 5: 의사 결정 기준: 의사 결정 기준과 그 정당성을 설명하라
• 원칙 6: 검사 가능성: 검사 가능성과 감사 가능성을 보장하라