지난 글에서 우리는 사용자가 AI를 채택하고 의존하려면 AI를 신뢰해야 한다는 근본적인 진실을 확립했습니다. 우리는 신뢰가 AI의 능력, 자비, 성실성 및 예측 가능성에 대한 인식을 바탕으로 구축된 다면적인 구조라는 점에 대해 이야기했습니다. 하지만 AI가 조용하고 알고리즘적인 지혜로 사용자를 혼란스럽게 하고, 좌절하게 하고, 심지어 상처를 입히는 결정을 내리면 어떻게 될까요? 모기지 신청이 거부되고, 좋아하는 노래가 갑자기 재생 목록에서 사라지고, 자격을 갖춘 이력서가 사람이 보기도 전에 거부됩니다. 이 순간 능력과 예측 가능성은 산산조각이 나고 자비심은 세상과 동떨어진 것처럼 느껴집니다. 이제 우리의 대화는 신뢰의 이유에서 투명성의 방법으로 발전해야 합니다. AI 출력을 인간이 이해할 수 있도록 만드는 방법을 개발하는 데 초점을 맞춘 XAI(Explainable AI) 분야가 이 문제를 해결하기 위해 등장했지만 데이터 과학자에게는 순전히 기술적 과제로 간주되는 경우가 많습니다. 나는 이것이 AI에 의존하는 제품의 중요한 디자인 과제라고 주장합니다. 알고리즘에 따른 의사결정과 인간의 이해 사이의 격차를 해소하는 것이 UX 전문가로서 우리의 임무입니다. 이 문서에서는 설명 가능성을 연구하고 설계하는 방법에 대한 실용적이고 실행 가능한 지침을 제공합니다. 우리는 전문 용어를 넘어 모형으로 나아가서 복잡한 XAI 개념을 오늘부터 사용할 수 있는 구체적인 디자인 패턴으로 변환할 것입니다. De-mystifying XAI: UX 실무자를 위한 핵심 개념 XAI는 "왜?"라는 사용자의 질문에 대답하는 것입니다. 나에게 이 광고가 표시된 이유는 무엇입니까? 이 영화가 나에게 추천되는 이유는 무엇입니까? 내 요청이 거부된 이유는 무엇입니까? 수학 문제에 대한 작업을 보여주는 AI라고 생각하십시오. 그것이 없으면 당신은 답을 얻을 수 있을 뿐이고 그것을 믿음으로 받아들여야 합니다. 단계를 보여줌으로써 이해력과 신뢰감을 구축할 수 있습니다. 또한 귀하의 작업이 영향을 미치는 바로 그 사람들에 의해 재확인되고 검증될 수 있습니다. 기능의 중요성과 반사실적 AI에서 일어나는 일을 명확하게 하거나 설명하는 데 사용할 수 있는 기술은 여러 가지가 있습니다. 방법은 의사 결정 트리의 전체 논리를 제공하는 것부터 출력의 자연어 요약을 생성하는 것까지 다양하지만 UX 실무자가 경험에 도입할 수 있는 가장 실용적이고 영향력 있는 정보 유형 중 두 가지는 기능 중요도(그림 1)와 반사실적입니다. 이는 사용자가 이해하기 가장 간단하고 디자이너가 구현하기 가장 실행 가능한 경우가 많습니다.
기능 중요성 이 설명 가능성 방법은 “AI가 고려한 가장 중요한 요소는 무엇이었나요?”에 답합니다. 결과에 가장 큰 영향을 미친 상위 2~3개 변수를 식별하는 것입니다. 전체 이야기가 아닌 헤드라인입니다. 예: 고객이 이탈(서비스 취소)할지 여부를 예측하는 AI를 상상해 보세요. 기능 중요도를 보면 "지난 달 지원 통화 수"와 "최근 가격 인상"이 고객 이탈 가능성을 결정하는 데 가장 중요한 두 가지 요소라는 사실이 드러날 수 있습니다.
반사실적 이 강력한 방법은 "다른 결과를 얻으려면 무엇을 변경해야 합니까?"에 대한 답을 제공합니다. 이는 사용자에게 대리인이라는 느낌을 주기 때문에 매우 중요합니다. 실망스러운 “아니요”를 실행 가능한 “아직”으로 바꿔줍니다. 예: AI를 사용하는 대출 신청 시스템을 상상해 보세요. 사용자의 대출이 거부되었습니다. 단순히 "신청 거부됨"만 표시되는 것이 아니라 "신용 점수가 50점 더 높거나 소득 대비 부채 비율이 10% 더 낮으면 대출이 승인되었을 것"이라는 반사적 설명도 제공됩니다. 이는 Sarah가 미래에 잠재적으로 대출을 받기 위해 취할 수 있는 명확하고 실행 가능한 단계를 제공합니다.
모델 데이터를 사용하여 설명 향상 기술적 세부 사항은 데이터 과학자가 처리하는 경우가 많지만, UX 실무자는 모델을 로컬로 근사하여 개별 예측을 설명하는 LIME(Local Interpretable Model-agnostic Descriptions) 및 게임 이론 접근 방식을 사용하여 기계 학습 모델의 출력을 설명하는 SHAP(SHapley Additive exPlanations)와 같은 도구가 일반적으로 복잡한 모델에서 이러한 "이유" 통찰력을 추출하는 데 사용된다는 것을 아는 것이 도움이 됩니다. 이러한 라이브러리는 본질적으로 주어진 결과에 어떤 입력이 가장 영향력이 있었는지 보여주기 위한 AI의 결정을 분석하는 데 도움이 됩니다. 올바르게 수행되면 AI 도구의 결정에 기초가 되는 데이터를 사용하여 강력한 스토리를 전달할 수 있습니다. 기능의 중요성과 반사실적을 살펴보고 결정 이면의 데이터 과학을 활용하여 사용자 경험을 향상시키는 방법을 보여드리겠습니다. 이제로컬 설명(예: LIME) 데이터의 도움으로 기능 중요성을 다룹니다. 이 접근 방식은 "AI가 지금 나에게 왜 이런 구체적인 추천을 했는가?"에 대한 답을 제공합니다. 모델 작동 방식에 대한 일반적인 설명 대신 단일 특정 인스턴스에 대한 집중된 이유를 제공합니다. 개인적이고 상황에 맞는 것입니다. 예: Spotify와 같은 AI 기반 음악 추천 시스템을 상상해 보세요. 현지 설명에서는 "시스템이 지금 당장 Adele의 이 특정 노래를 추천한 이유는 무엇입니까?"라고 대답합니다. 설명은 다음과 같습니다. “최근에 여성 보컬리스트의 다른 감성 발라드와 노래를 들었기 때문입니다.”
마지막으로, 결정에 대한 설명에 가치 기반 설명(예: SHAP(Shapley Additive Descriptions) 데이터를 포함시키는 방법을 살펴보겠습니다. 이는 "각 요소가 어떻게 결정을 내리게 되었습니까?"에 대답하는 기능 중요도의 보다 미묘한 버전입니다. 중요한 것이 무엇인지, 그 영향이 긍정적인지 부정적인지를 시각화하는 데 도움이 됩니다. 예: 은행이 AI 모델을 사용하여 대출 신청 승인 여부를 결정한다고 상상해 보세요.
기능 중요성: 모델 결과는 신청자의 신용 점수, 소득 및 부채 대비 소득 비율이 결정에 가장 중요한 요소임을 보여줄 수 있습니다. 이것이 중요한 것에 대한 답입니다. SHAP(값 기반 설명을 통한 기능 중요도): SHAP 값은 모델 요소를 기반으로 기능 중요성을 더 갖습니다.
승인된 대출의 경우 SHAP는 높은 신용 점수가 승인 쪽으로 결정을 크게 밀어붙인 반면(긍정적 영향), 평균보다 약간 높은 부채-소득 비율로 인해 약간 멀어졌지만(부정적 영향), 대출을 거부할 만큼 충분하지는 않음을 보여줄 수 있습니다. 거부된 대출의 경우, SHAP는 신용 점수가 양호하더라도 낮은 소득과 최근 신용 문의 건수로 인해 거부 결정이 강력하게 이루어졌음을 밝힐 수 있습니다.
이는 대출 담당자가 고려한 것 이상으로 신청자에게 각 요소가 최종 "예" 또는 "아니오" 결정에 어떻게 기여했는지 설명하는 데 도움이 됩니다. 좋은 설명을 제공하는 능력은 개발 주기의 훨씬 초기에 시작되는 경우가 많다는 점을 인식하는 것이 중요합니다. 데이터 과학자와 엔지니어는 설명 가능성을 나중에 생각하기보다는 본질적으로 지원하는 방식으로 모델과 데이터 파이프라인을 의도적으로 구조화함으로써 중추적인 역할을 합니다. 연구 및 설계 팀은 사용자의 이해 요구 사항에 대해 데이터 과학자 및 엔지니어와 초기 대화를 시작하고, 설명 가능성 지표 개발에 기여하고, 설명이 정확하고 사용자 친화적인지 확인하기 위해 공동으로 프로토타입을 작성함으로써 이를 촉진할 수 있습니다. XAI와 윤리적 AI: 편견과 책임 풀기 신뢰 구축 외에도 XAI는 특히 알고리즘 편견과 관련하여 AI*의 심오한 윤리적 의미를 해결하는 데 중요한 역할을 합니다. SHAP 값 분석과 같은 설명 가능성 기술은 모델의 결정이 인종, 성별, 사회 경제적 지위와 같은 민감한 속성에 의해 불균형적으로 영향을 받는지 여부를 밝힐 수 있습니다. 이러한 요소가 직접 입력으로 명시적으로 사용되지 않은 경우에도 마찬가지입니다. 예를 들어, 대출 승인 모델이 특정 인구통계의 신청자에게 지속적으로 부정적인 SHAP 값을 할당하는 경우 조사가 필요한 잠재적인 편견을 알리고 팀에서 그러한 불공정한 결과를 표면화하고 완화할 수 있는 권한을 부여합니다. XAI의 힘은 "설명 가능성 세척"의 잠재력도 함께 제공됩니다. "그린워싱"이 소비자에게 환경 관행에 대해 오도하는 것처럼, 설명 가능성 세척은 설명이 문제가 있는 알고리즘 동작이나 내재된 편견을 밝히기보다는 모호하게 설계할 때 발생할 수 있습니다. 이는 중요한 영향을 미치는 요인을 생략하는 지나치게 단순한 설명이나 결과를 실제보다 더 중립적이거나 공정하게 보이도록 전략적으로 구성하는 설명으로 나타날 수 있습니다. 이는 진정으로 투명하고 검증 가능한 설명을 설계해야 하는 UX 실무자의 윤리적 책임을 강조합니다. UX 전문가는 데이터 과학자 및 윤리학자와 협력하여 결정 이유와 기본 AI 모델의 한계 및 잠재적 편견을 전달하는 데 중요한 책임이 있습니다. 여기에는 AI 정확도에 대한 현실적인 사용자 기대치를 설정하고, 모델의 신뢰성이 떨어지는 부분을 식별하고, 사용자가 불공정하거나 잘못된 결과를 인식할 때 의지 또는 피드백을 위한 명확한 채널을 제공하는 것이 포함됩니다. 이러한 문제를 선제적으로 해결윤리적 차원을 통해 진정으로 정의롭고 신뢰할 수 있는 AI 시스템을 구축할 수 있습니다. 방법에서 모형까지: 실용적인 XAI 디자인 패턴 개념을 아는 것이 한 가지입니다. 그들을 디자인하는 것은 또 다른 일입니다. 이러한 XAI 메소드를 직관적인 디자인 패턴으로 변환하는 방법은 다음과 같습니다. 패턴 1: "Because" 문(기능 중요도) 이것은 가장 간단하고 종종 가장 효과적인 패턴입니다. 이는 AI 행동의 주된 이유를 드러내는 직접적이고 평이한 언어입니다.
휴리스틱: 직접적이고 간결해야 합니다. 가장 영향력 있는 한 가지 이유를 제시하세요. 어떤 희생을 치르더라도 전문 용어를 피하십시오.
예: 음악 스트리밍 서비스를 상상해 보세요. 단순히 "Discover Weekly" 재생 목록을 제시하는 대신 작은 줄의 마이크로 카피를 추가합니다. 노래 추천: "Velvet Morning" 왜냐하면 "The Fuzz" 및 기타 사이키델릭 록을 듣기 때문입니다.
패턴 2: "만약" 대화형(반사실적인 경우) 반사실적은 본질적으로 권한 부여에 관한 것입니다. 이를 표현하는 가장 좋은 방법은 사용자에게 가능성을 직접 탐색할 수 있는 대화형 도구를 제공하는 것입니다. 이는 금융, 건강 또는 기타 목표 지향적 애플리케이션에 적합합니다.
경험적 방법: 설명을 대화형으로 만들고 힘을 실어줍니다. 사용자가 선택의 원인과 결과를 확인할 수 있습니다.
예: 대출 신청 인터페이스. 거부 후 막다른 골목 대신 사용자는 다양한 시나리오(가정)가 어떻게 진행될지 결정하는 도구를 얻게 됩니다(그림 1 참조).
패턴 3: 하이라이트 릴(현지 설명용) AI가 사용자의 콘텐츠에 대해 작업(문서 요약, 사진 속 얼굴 식별 등)을 수행할 때 설명은 시각적으로 소스와 연결되어야 합니다.
경험적 방법: 강조 표시, 윤곽선 또는 주석과 같은 시각적 단서를 사용하여 설명이 설명하는 인터페이스 요소에 직접 연결합니다.
예: 긴 기사를 요약하는 AI 도구.AI 생성 요약 요점:초기 연구에서는 지속 가능한 제품에 대한 시장 격차가 나타났습니다.문서 출처: "...시장 동향에 대한 우리의 2분기 분석에 따르면 환경을 생각하는 소비자에게 효과적으로 서비스를 제공하는 주요 경쟁업체가 없다는 것이 결정적으로 입증되었으며, 지속 가능한 제품에 대한 상당한 시장 격차가 드러났습니다..."
패턴 4: 밀고 당기기 시각적 개체(값 기반 설명용) 보다 복잡한 결정을 내리려면 사용자는 요인의 상호작용을 이해해야 할 수도 있습니다. 간단한 데이터 시각화를 통해 부담 없이 이를 명확하게 확인할 수 있습니다.
휴리스틱: 간단한 색상으로 구분된 데이터 시각화(예: 막대 차트)를 사용하여 결정에 긍정적인 영향과 부정적인 영향을 미친 요인을 표시합니다.
예: 채용에 대한 후보자 프로필을 심사하는 AI.이 후보자가 75% 일치하는 이유:점수를 높이는 요인:5년 이상의 UX 연구 경험Python에 능숙함점수를 낮추는 요인:B2B SaaS 경험 없음
AI 제품의 UX에서 이러한 디자인 패턴을 학습하고 사용하면 설명 가능성을 높이는 데 도움이 됩니다. 여기서 자세히 다루지 않는 추가 기술을 사용할 수도 있습니다. 여기에는 다음이 포함됩니다.
자연어 설명: AI의 기술 출력을 비전문가도 쉽게 이해할 수 있는 간단한 대화형 인간 언어로 번역합니다. 상황에 따른 설명: 특정 순간과 위치에서 AI의 출력에 대한 이론적 근거를 제공하며 이는 사용자의 작업과 가장 관련이 있습니다. 관련 시각화: 차트, 그래프 또는 히트맵을 사용하여 AI의 의사 결정 프로세스를 시각적으로 표현함으로써 복잡한 데이터를 사용자가 직관적이고 쉽게 이해할 수 있도록 만듭니다.
프런트 엔드에 대한 참고 사항: 이러한 설명 가능성 출력을 원활한 사용자 경험으로 변환하는 데에는 자체적인 기술적 고려 사항도 제시됩니다. 프런트 엔드 개발자는 설명 데이터를 효율적으로 검색하기 위해 API 설계와 씨름하는 경우가 많으며 성능에 미치는 영향(예: 모든 사용자 상호 작용에 대한 설명의 실시간 생성)은 대기 시간을 피하기 위해 신중한 계획이 필요합니다. 실제 사례 UPS Capital의 DeliveryDefense UPS는 AI를 사용하여 주소에 "배송 신뢰도 점수"를 할당하여 패키지 도난 가능성을 예측합니다. DeliveryDefense 소프트웨어는 위치, 손실 빈도 및 기타 요인에 대한 기록 데이터를 분석합니다. 주소의 점수가 낮은 경우 시스템은 패키지를 안전한 UPS 액세스 포인트로 사전에 경로를 재설정하여 결정에 대한 설명을 제공할 수 있습니다(예: "도난 기록으로 인해 패키지가 안전한 위치로 경로가 변경되었습니다"). 이 시스템은 다음을 통해 XAI를 사용하여 위험을 완화하고 고객 신뢰를 구축할 수 있는 방법을 보여줍니다.투명도. 자율주행자동차 이러한 미래의 차량은 차량이 안전하고 설명 가능한 결정을 내릴 수 있도록 XAI를 효과적으로 사용해야 합니다. 자율주행차가 갑자기 브레이크를 밟으면 시스템은 도로에 들어서는 보행자를 식별하는 등 그 행동에 대한 실시간 설명을 제공할 수 있다. 이는 승객의 편안함과 신뢰를 위해 중요할 뿐만 아니라 AI 시스템의 안전성과 책임성을 입증하기 위한 규제 요구 사항입니다. IBM Watson Health(및 그 과제) 의료 분야에서 AI의 일반적인 사례로 자주 인용되는 동시에 XAI의 중요성을 보여주는 귀중한 사례 연구이기도 합니다. Watson for Oncology 프로젝트의 실패는 설명이 명확하지 않거나 기본 데이터가 편향되거나 현지화되지 않은 경우 무엇이 잘못될 수 있는지를 강조합니다. 시스템의 권장 사항은 미국 중심 지침을 기반으로 했기 때문에 현지 임상 관행과 일치하지 않는 경우가 있었습니다. 이는 강력하고 상황을 인식하는 설명 가능성의 필요성에 대한 경고 역할을 합니다. UX 연구자의 역할: 설명을 정확히 찾아내고 검증하는 것 우리의 디자인 솔루션은 적시에 올바른 사용자 질문을 해결하는 경우에만 효과적입니다. 사용자가 모르는 질문에 대답하는 설명은 소음일 뿐입니다. 이것이 바로 UX 연구가 XAI 전략에서 중요한 결합 조직이 되어 실제로 사용자에게 무엇이 어떻게 중요한지 설명하는 것입니다. 연구자의 역할은 두 가지입니다. 첫째, 설명이 필요한 위치를 식별하여 전략을 알리는 것이고, 둘째는 해당 설명을 제공하는 설계를 검증하는 것입니다. XAI 전략 알리기(설명할 내용) 단일 설명을 디자인하기 전에 AI 시스템에 대한 사용자의 정신 모델을 이해해야 합니다. 그들은 그것이 무엇을 하고 있다고 믿나요? 그들의 이해와 시스템 현실 사이의 격차는 어디에 있습니까? 이는 UX 연구자의 기초 작업입니다. 정신 모델 인터뷰: AI 시스템에 대한 사용자 인식 풀기 심층적이고 반구조화된 인터뷰를 통해 UX 실무자는 사용자가 AI 시스템을 어떻게 인식하고 이해하는지에 대한 귀중한 통찰력을 얻을 수 있습니다. 이 세션은 사용자가 AI가 작동한다고 믿는 방식에 대한 내부 "정신 모델"을 문자 그대로 그리거나 설명하도록 장려하기 위해 고안되었습니다. 여기에는 사용자에게 시스템의 논리, 입력, 출력은 물론 이러한 요소 간의 관계를 설명하도록 유도하는 개방형 질문이 포함되는 경우가 많습니다. 이러한 인터뷰는 사용자가 AI에 대해 갖고 있는 심오한 오해와 가정을 자주 드러내기 때문에 강력합니다. 예를 들어, 추천 엔진과 상호 작용하는 사용자는 시스템이 순전히 과거 시청 기록을 기반으로 한다고 자신 있게 주장할 수 있습니다. 그들은 알고리즘이 검색하는 시간, 플랫폼 전체의 현재 인기 항목, 심지어 유사한 사용자의 시청 습관과 같은 다양한 다른 요소도 포함한다는 사실을 깨닫지 못할 수도 있습니다. 사용자의 정신 모델과 실제 기본 AI 논리 사이의 격차를 찾아내는 것이 매우 중요합니다. 이는 사용자가 시스템의 보다 정확하고 강력한 정신 모델을 구축하는 데 도움이 되도록 사용자에게 전달해야 하는 특정 정보가 무엇인지 정확하게 알려줍니다. 이는 결국 신뢰를 키우는 근본적인 단계입니다. 사용자가 AI가 결론이나 권장 사항에 도달하는 방법을 높은 수준에서도 이해하면 AI의 출력을 신뢰하고 기능에 의존할 가능성이 더 높습니다. AI 여정 매핑: 사용자 신뢰와 설명 가능성에 대한 심층 분석 AI 기반 기능으로 사용자의 여정을 꼼꼼하게 매핑함으로써 우리는 혼란, 좌절, 심지어 깊은 불신이 나타나는 정확한 순간에 대한 귀중한 통찰력을 얻습니다. 이를 통해 AI 작동 방식에 대한 사용자의 정신 모델이 실제 동작과 충돌하는 중요한 지점을 찾아냅니다. 음악 스트리밍 서비스를 생각해 보십시오. 재생 목록 추천이 사용자의 과거 청취 습관이나 명시된 선호도와 식별 가능한 연관성이 부족하여 "무작위"라고 느껴지면 사용자의 신뢰가 급락합니까? 이러한 인지된 무작위성은 지능형 큐레이션에 대한 사용자의 기대에 대한 직접적인 도전이며 AI가 사용자의 취향을 이해한다는 암묵적인 약속을 위반하는 것입니다. 마찬가지로, 사진 관리 애플리케이션에서 AI 사진 태깅 기능이 지속적으로 소중한 가족 구성원을 잘못 식별할 때 사용자는 상당한 좌절감을 경험합니까? 이 오류는 기술적 결함 그 이상입니다. 이는 정확성, 개인화, 심지어는 개인화의 핵심을 공격합니다.감정적 연결. 이러한 문제점은 잘 배치되고 명확하며 간결한 설명이 필요한 위치를 정확하게 나타내는 생생한 신호입니다. 이러한 설명은 중요한 복구 메커니즘 역할을 하며, 해결하지 않고 방치할 경우 사용자 이탈로 이어질 수 있는 신뢰 위반을 수정합니다. AI 여정 매핑의 힘은 단순히 AI 시스템의 최종 결과를 설명하는 것 이상으로 우리를 움직일 수 있는 능력에 있습니다. AI가 무엇을 생산했는지 이해하는 것이 중요하지만, 그것만으로는 충분하지 않은 경우가 많습니다. 대신, 이 프로세스는 우리가 중요한 순간에 프로세스를 설명하는 데 집중하도록 강요합니다. 이는 다음을 다루는 것을 의미합니다.
특정 출력이 생성된 이유: 특정 입력 데이터 때문이었나요? 특정 모델 아키텍처? AI의 결정에 영향을 준 요인은 무엇입니까? 특정 기능에 더 큰 가중치가 부여되었습니까? AI가 결론에 도달한 방법: 내부 작동에 대해 단순화되고 유사한 설명을 제공할 수 있습니까? AI는 어떤 가정을 하였습니까? 사용자의 의도나 표면화해야 할 데이터에 대한 암묵적인 이해가 있었습니까? AI의 한계는 무엇입니까? AI가 할 수 없는 일이나 정확도가 흔들릴 수 있는 부분을 명확하게 전달하면 현실적인 기대치가 형성됩니다.
AI 여정 매핑은 XAI의 추상적 개념을 UX 실무자를 위한 실용적이고 실행 가능한 프레임워크로 변환합니다. 이를 통해 설명 가능성에 대한 이론적 논의를 넘어 사용자 신뢰가 위태로운 정확한 순간을 정확히 찾아내고 강력하고 투명하며 이해 가능하고 신뢰할 수 있는 AI 경험을 구축하는 데 필요한 통찰력을 제공할 수 있습니다. 궁극적으로 연구는 우리가 알려지지 않은 것을 발견하는 방법입니다. 귀하의 팀은 대출이 거부된 이유를 설명하는 방법에 대해 토론하고 있을 수 있지만, 조사에 따르면 사용자는 처음에 자신의 데이터가 어떻게 사용되었는지 이해하는 데 훨씬 더 관심이 있는 것으로 나타났습니다. 조사 없이, 우리는 사용자가 무엇을 궁금해하는지 단순히 추측하고 있습니다. 디자인 공동작업(AI를 설명하는 방법) 연구를 통해 설명할 내용이 파악되면 디자인과의 협업 루프가 시작됩니다. 디자이너는 앞서 논의한 패턴(“Because” 문, 대화형 슬라이더)의 프로토타입을 제작할 수 있으며 연구자는 이러한 디자인을 사용자 앞에 제시하여 그 디자인이 유효한지 확인할 수 있습니다. 타겟 사용성 및 이해도 테스트: XAI 구성 요소를 구체적으로 테스트하는 연구 조사를 설계할 수 있습니다. 우리는 단순히 “이것이 사용하기 쉬운가요?”라고 묻지 않습니다. “이것을 본 후 시스템이 이 제품을 추천한 이유를 직접 말해주실 수 있나요?”라고 묻습니다. 또는 “다른 결과를 얻을 수 있는지 확인하기 위해 무엇을 할 것인지 보여주세요.” 여기서 목표는 유용성과 함께 이해도와 실행 가능성을 측정하는 것입니다. 신뢰 자체 측정: 설명이 표시되기 전후에 간단한 설문조사와 평가 척도를 사용할 수 있습니다. 예를 들어, 사용자에게 "이 추천을 얼마나 신뢰하시나요?"라고 5점 척도로 질문할 수 있습니다. "Because"라는 문장을 보기 전에, 나중에 다시 물어보세요. 이는 우리의 설명이 실제로 신뢰를 얻고 있는지에 대한 정량적 데이터를 제공합니다. 이 프로세스는 강력하고 반복적인 루프를 생성합니다. 연구 결과는 초기 설계에 영향을 미칩니다. 그런 다음 해당 디자인을 테스트하고 개선을 위해 새로운 결과를 디자인 팀에 피드백합니다. 어쩌면 "왜냐하면" 진술이 너무 전문적이었을 수도 있고 "만약" 슬라이더가 힘을 실어주는 것보다 더 혼란스러웠을 수도 있습니다. 이러한 공동 검증을 통해 우리는 최종 설명이 기술적으로 정확하고, 실제로 이해하기 쉽고, 유용하며, 제품을 사용하는 사람들에게 신뢰를 구축할 수 있도록 보장합니다. 설명의 골디락스 영역 중요한 주의 사항: 지나치게 설명하는 것이 가능합니다. 골디락스가 '딱 맞는' 죽을 찾았던 동화에서처럼, 좋은 설명의 목표는 너무 많지도 적지도 않은 적절한 양의 세부 사항을 제공하는 것입니다. 모델의 모든 변수를 사용자에게 공격하면 인지 과부하가 발생하고 실제로 신뢰도가 떨어질 수 있습니다. 목표는 사용자를 데이터 과학자로 만드는 것이 아닙니다. 한 가지 해결책은 점진적 공개입니다.
간단한 것부터 시작하세요. 간결한 “왜냐하면” 진술로 시작하세요. 대부분의 사용자에게는 이것으로 충분합니다. 세부사항에 대한 경로를 제공합니다. '자세히 알아보기' 또는 '이것이 어떻게 결정되었는지 확인하세요'와 같이 명확하고 마찰이 적은 링크를 제공하세요. 복잡성을 드러냅니다. 해당 링크 뒤에는 대화형 슬라이더, 시각화 또는 기여 요소에 대한 보다 자세한 목록을 제공할 수 있습니다.
이 계층적 접근 방식은 사용자의 관심과 전문 지식을 존중하여 적절한 양을 제공합니다.그들의 필요에 맞는 정보를 제공합니다. 다양한 요인에 따라 최적의 난방을 추천하는 스마트 홈 기기를 사용하고 있다고 가정해 보겠습니다. 간단한 것부터 시작하세요. "현재 집의 난방 온도는 72도입니다. 이는 에너지 절약과 편안함을 위한 최적의 온도입니다." 세부정보에 대한 경로 제공: 그 아래에는 "72도가 최적인 이유는 무엇입니까?"라는 작은 링크 또는 버튼이 있습니다. 복잡성 확인: 해당 링크를 클릭하면 다음을 보여주는 새 화면이 열릴 수 있습니다.
외부 온도, 습도 및 선호하는 편안함 수준에 대한 대화형 슬라이더로 권장 온도를 조정하는 방법을 보여줍니다. 다양한 온도에서의 에너지 소비 시각화. '시간', '현재 외부 온도', '과거 에너지 사용량', '점유 센서'와 같은 기여 요소 목록입니다.
여러 XAI 방법을 결합하는 것이 효과적이며 점진적인 공개를 옹호하는 Goldilocks Zone of Description 패턴이 이를 암시적으로 장려합니다. 즉각적인 이해를 위해 간단한 "때문에" 진술(패턴 1)으로 시작한 다음, 더 깊은 탐색을 위해 "만약" 대화형(패턴 2) 또는 "밀고 당기기 시각적 개체"(패턴 4)를 보여주는 "자세히 알아보기" 링크를 제공할 수 있습니다. 예를 들어, 대출 신청 시스템은 처음에 거부의 주된 이유(기능 중요도)를 명시한 다음 사용자가 "가정(What-If)" 도구와 상호 작용하여 소득이나 부채의 변화가 결과(반사실)를 어떻게 바꿀지 확인할 수 있도록 허용하고 마지막으로 자세한 "밀고 당기기" 차트(가치 기반 설명)를 제공하여 모든 요소의 긍정적인 기여와 부정적인 기여를 설명할 수 있습니다. 이러한 계층적 접근 방식을 통해 사용자는 필요할 때 필요한 세부 정보 수준에 액세스할 수 있으므로 인지 과부하를 방지하는 동시에 포괄적인 투명성을 제공할 수 있습니다. 사용할 XAI 도구와 방법을 결정하는 것은 주로 철저한 UX 연구의 기능입니다. 정신 모델 인터뷰와 AI 여정 매핑은 AI 이해 및 신뢰와 관련된 사용자 요구 사항과 문제점을 정확히 파악하는 데 중요합니다. 멘탈 모델 인터뷰는 AI 작동 방식에 대한 사용자의 오해를 밝혀내고 기본적인 설명(예: 기능 중요성 또는 로컬 설명)이 필요한 영역을 나타내는 데 도움이 됩니다. 반면, AI 여정 매핑은 사용자와 AI의 상호 작용에서 혼란이나 불신의 중요한 순간을 식별하여 보다 세부적인 설명이나 대화형 설명(예: 반사실적 또는 가치 기반 설명)이 신뢰를 재구축하고 주체성을 제공하는 데 가장 도움이 될 수 있음을 알려줍니다.
궁극적으로 기술을 선택하는 가장 좋은 방법은 사용자 조사를 통해 결정을 내리고, 설명이 단순히 기술적인 세부 사항을 제공하는 것이 아니라 실제 사용자의 질문과 우려 사항을 직접 다루도록 하는 것입니다. 심층 추론 에이전트를 위한 XAI 심층 추론 에이전트로 알려진 일부 최신 AI 시스템은 모든 복잡한 작업에 대해 명시적인 "사고 사슬"을 생성합니다. 그들은 단순히 출처를 인용하는 것이 아닙니다. 결론에 도달하기 위해 취한 논리적이고 단계별 경로를 보여줍니다. 이러한 투명성은 귀중한 맥락을 제공하지만, 여러 단락에 걸쳐 있는 실황은 단순히 작업을 완료하려는 사용자에게 압도적으로 느껴질 수 있습니다. XAI의 원칙, 특히 Goldilocks Zone of Description이 여기에 직접 적용됩니다. 우리는 점진적인 공개를 통해 최종 결론과 사고 과정에서 가장 두드러진 단계만 먼저 보여줌으로써 여정을 관리할 수 있습니다. 그러면 사용자는 논리를 다시 확인해야 하거나 특정 사실을 찾아야 할 때 전체적이고 상세한 다단계 추론을 보도록 선택할 수 있습니다. 이 접근 방식은 에이전트의 완전한 투명성을 유지하면서 사용자의 관심을 존중합니다. 다음 단계: XAI 여정 강화 설명 가능성은 신뢰할 수 있고 효과적인 AI 제품을 구축하기 위한 기본 기둥입니다. 조직 내에서 이러한 변화를 주도하려는 고급 실무자의 경우 여정은 디자인 패턴을 넘어 옹호 및 지속적인 학습으로 확장됩니다. 이해와 실제 적용을 심화하려면 모델 동작과 설명을 탐색하는 대화형 방법을 제공하는 IBM Research의 AI explainability 360(AIX360) 툴킷이나 Google의 What-If 도구와 같은 리소스를 탐색해 보세요. Responsible AI Forum과 같은 커뮤니티나 인간 중심 AI에 초점을 맞춘 특정 연구 그룹과 협력하면 귀중한 통찰력과 협업 기회를 얻을 수 있습니다. 마지막으로, 귀하의 조직 내에서 XAI의 옹호자가 되십시오.전략적 투자로서의 프레임 설명 가능성. 귀하의 리더십 또는 다기능 팀에 대한 간단한 프레젠테이션을 고려하십시오. "XAI에 투자함으로써 우리는 신뢰 구축을 넘어 사용자 채택을 가속화하고, 사용자에게 이해력을 부여하여 지원 비용을 절감하고, 잠재적인 편견을 노출시켜 심각한 윤리적 및 규제적 위험을 완화할 것입니다. 이것이 바로 좋은 디자인이자 스마트한 사업입니다."
실질적인 이해에 바탕을 둔 여러분의 목소리는 AI를 블랙박스에서 꺼내 사용자와 협력적인 파트너십을 맺는 데 매우 중요합니다.
