在我的上一篇文章中，我們確立了一個基本事實：為了讓使用者採用並依賴人工智慧，他們必須信任它。我們討論了信任是一個多方面的結構，建立在對人工智慧的能力、仁慈、正直和可預測性的認知之上。但是，當人工智慧以其無聲的演算法智慧做出讓用戶感到困惑、沮喪甚至受傷的決定時，會發生什麼？抵押貸款申請被拒絕，一首最喜歡的歌曲突然從播放清單中消失，一份合格的簡歷在人們看到之前就被拒絕了。在這些時刻，能力和可預測性都被粉碎，仁慈感覺遙不可及。 我們現在的對話必須從信任的原因轉向透明度的方式。可解釋人工智慧 (XAI) 領域專注於開發使人工智慧輸出能夠被人類理解的方法，旨在解決這一問題，但它通常被視為資料科學家的純粹技術挑戰。我認為這對於依賴人工智慧的產品來說是一個關鍵的設計挑戰。作為使用者體驗專業人士，我們的工作就是彌合演算法決策和人類理解之間的差距。 本文提供了關於如何研究和設計可解釋性的實用、可操作的指導。我們將超越流行語並進入模型，將複雜的 XAI 概念轉化為您今天就可以開始使用的特定設計模式。 揭秘 XAI：UX 從業者的核心概念 XAI 旨在回答用戶的問題：「為什麼？」為什麼我會看到這個廣告？為什麼要向我推薦這部電影？為什麼我的請求被拒絕？可以將其視為人工智慧在數學問題上的表現。沒有它，你就只有一個答案，而且你必須相信它。透過展示這些步驟，您可以建立理解和信任。您還允許您的工作受到其影響的人員的雙重檢查和驗證。 特徵重要性和反事實 我們可以使用多種技術來澄清或解釋人工智慧正在發生的事情。雖然方法範圍從提供決策樹的整個邏輯到產生輸出的自然語言摘要，但使用者體驗從業者可以引入體驗的兩種最實用和最有影響力的資訊類型是特徵重要性（圖 1）和反事實。這些通常是使用者最容易理解的，也是設計人員最容易實施的。
特徵重要性 這種可解釋性方法回答了「人工智慧考慮的最重要因素是什麼？」它是關於確定對結果影響最大的 2-3 個變數。這是標題，而不是整個故事。 例：想像一個人工智慧可以預測客戶是否會流失（取消他們的服務）。特徵重要性可能表明「上個月的支援電話數量」和「最近的價格上漲」是確定客戶是否可能流失的兩個最重要的因素。
反事實 這種強大的方法回答了「我需要改變什麼才能獲得不同的結果？」這很重要，因為它給用戶一種代理感。它將令人沮喪的“不”轉變為可行的“還沒有”。 例：想像一個使用人工智慧的貸款申請系統。用戶被拒絕貸款。反事實的解釋不僅會看到“申請被拒絕”，還會分享“如果您的信用評分高出 50 分，或者您的債務與收入比率低 10%，您的貸款就會獲得批准。”這為莎拉提供了明確的、可行的步驟，她可以採取這些步驟，以便將來可能獲得貸款。
使用模型資料增強解釋 儘管技術細節通常由資料科學家處理，但對於使用者體驗從業者來說，了解諸如 LIME（與模型無關的本地可解釋解釋）等工具（透過在本地逼近模型來解釋個體預測）和 SHAP（SHapley 加法解釋）（使用博弈論方法來解釋任何機器學習模型的輸出）等工具通常用於從複雜模型中提取這些原因的「原因」。這些庫本質上有助於分解人工智慧的決策，以顯示哪些輸入對給定結果最有影響力。 如果處理得當，人工智慧工具決策所依據的數據可以用來講述一個強而有力的故事。讓我們來看看功能的重要性和反事實，並展示如何利用決策背後的資料科學來增強使用者體驗。 現在讓我們在本地解釋（例如 LIME）資料的幫助下涵蓋特徵重要性：這種方法回答，「為什麼人工智慧現在為我提出這個具體建議？」它不是對模型如何運作進行一般性解釋，而是為單一特定實例提供了集中的原因。這是個人的和情境的。 例：想像 Spotify 這樣的人工智慧音樂推薦系統。本地解釋會回答：“為什麼系統現在向您推薦阿黛爾的這首特定歌曲？”解釋可能是：“因為你最近聽了其他幾首女歌手的情感民謠和歌曲。”
最後，讓我們討論如何將基於價值的解釋（例如 Shapley 加法解釋 (SHAP) 數據）納入決策的解釋：這是功能重要性的更細緻的版本，可以回答「每個因素如何以某種方式推動決策？」它有助於可視化重要的內容，以及其影響是積極的還是消極的。 例：想像一家銀行使用人工智慧模型來決定是否批准貸款申請。
特徵重要性：模型輸出可能顯示申請人的信用評分、收入和債務收入比是其決策中最重要的因素。這回答了重要的問題。 基於值的解釋的特徵重要性 (SHAP)：SHAP 值將根據模型的元素進一步考慮特徵重要性。
對於核准的貸款，SHAP 可能會表明，高信用評分顯著推動決策走向批准（正面影響），而略高於平均水準的債務與收入比率則稍微拉遠決策（負面影響），但不足以拒絕貸款。 對於被拒絕的貸款，SHAP 可能會發現，即使信用評分不錯，低收入和近期的大量信用查詢也強烈推動了拒絕的決定。
這有助於信貸員向申請人解釋超出考慮範圍的因素，以及每個因素如何影響最終的「是」或「否」決定。 重要的是要認識到提供良好解釋的能力通常在開發週期的早期就開始了。資料科學家和工程師發揮關鍵作用，他們有意以本質上支援可解釋性的方式建立模型和資料管道，而不是事後才試圖將其固定下來。 研究和設計團隊可以透過與資料科學家和工程師就使用者理解需求進行早期對話、促進可解釋性指標的開發以及協作原型設計解釋來促進這一點，以確保它們既準確又用戶友好。 XAI 和道德 AI：揭示偏見和責任 除了建立信任之外，XAI 在解決 AI* 的深刻道德影響方面發揮關鍵作用，特別是在演算法偏見方面。可解釋性技術（例如分析 SHAP 值）可以揭示模型的決策是否過度受到種族、性別或社會經濟地位等敏感屬性的影響，即使這些因素沒有明確用作直接輸入。 例如，如果貸款審批模型始終將負的 SHAP 值分配給特定人群的申請人，則表明存在需要調查的潛在偏見，使團隊能夠揭露並減輕這種不公平的結果。 XAI 的強大功能還具有「可解釋性清洗」的潛力。正如「綠色清洗」會誤導消費者有關環保實踐的資訊一樣，當解釋旨在掩蓋而不是闡明有問題的演算法行為或固有偏見時，就會發生可解釋性清洗。這可能表現為過於簡單化的解釋，忽略了關鍵的影響因素，或從策略上使結果看起來比實際情況更加中立或公平的解釋。它強調了使用者體驗從業者設計真正透明和可驗證的解釋的道德責任。 使用者體驗專業人員與資料科學家和倫理學家合作，在傳達決策原因以及底層人工智慧模型的局限性和潛在偏差方面承擔著至關重要的責任。這包括設定使用者對人工智慧準確性的現實期望，識別模型可能不太可靠的地方，並在使用者認為不公平或不正確的結果時提供清晰的追索或回饋管道。積極解決這些問題道德維度將使我們能夠建立真正公正且值得信賴的人工智慧系統。 從方法到模型：實用的 XAI 設計模式 了解概念是一回事，了解概念是一回事。設計它們是另一回事。以下是我們如何將這些 XAI 方法轉化為直覺的設計模式。 模式 1：「因為」陳述（針對功能重要性） 這是最簡單且通常最有效的模式。這是一種直接、簡單易懂的語言陳述，揭示了人工智慧行動的主要原因。
啟發式：直接、簡潔。以一個最有影響力的理由來領導。不惜一切代價避免使用行話。
例：想像一下音樂串流服務。你不只是呈現一個「Discover Weekly」播放列表，而是增加一小行微文案。 歌曲推薦：「Velvet Morning」因為你聽「The Fuzz」等迷幻搖滾。
模式 2：「假設」交互作用（針對反事實） 反事實本質上是關於賦權。表現它們的最佳方式是為使用者提供互動式工具來自行探索可能性。這非常適合金融、健康或其他目標導向的應用程式。
啟發式：使解釋具有互動性和授權。讓使用者看到自己選擇的前因後果。
例：貸款申請介面。拒絕後，使用者不再陷入死胡同，而是獲得了一個工具來確定各種場景（假設）可能如何發生（參見圖 1）。
模式 3：精彩片段（用於本地解釋） 當人工智慧對使用者的內容執行操作時（例如總結文件或識別照片中的面孔），解釋應該在視覺上連結到來源。
啟發式：使用突出顯示、輪廓或註釋等視覺提示將解釋直接連接到它正在解釋的介面元素。
範例：總結長篇文章的人工智慧工具。人工智慧產生的總結點：初步研究顯示永續產品存在市場差距。文件來源：“......我們對市場趨勢的第二季度分析最終表明，沒有主要競爭對手能夠有效地服務於具有生態意識的消費者，這揭示了可持續產品的巨大市場差距......”
模式 4：推拉視覺（用於基於價值的解釋） 對於更複雜的決策，使用者可能需要了解因素的相互作用。簡單的數據視覺化可以使這一點變得清晰，而不會讓人不知所措。
啟發式：使用簡單的顏色編碼資料視覺化（如長條圖）來顯示對決策產生正面和負面影響的因素。
範例：人工智慧篩選職位候選人的個人資料。為什麼該候選人的匹配度為 75%：提高分數的因素：5 年以上 UX 研究經驗精通 Python 降低分數的因素：沒有 B2B SaaS 經驗
在人工智慧產品的使用者體驗中學習和使用這些設計模式將有助於提高可解釋性。您也可以使用我在此未深入介紹的其他技術。這包括以下內容：
自然語言解釋：將人工智慧的技術輸出翻譯成非專家可以輕鬆理解的簡單的人類對話語言。 情境解釋：為人工智慧在特定時刻和位置的輸出提供基本原理，它與使用者的任務最相關。 相關視覺化：使用圖表、圖形或熱圖直觀地表示人工智慧的決策過程，使複雜的數據直觀且易於用戶掌握。
前端注意事項：將這些可解釋性輸出轉化為無縫的使用者體驗也提出了自己的一套技術考量。前端開發人員經常努力解決 API 設計以有效檢索解釋數據，並且效能影響（例如為每個用戶互動即時生成解釋）需要仔細規劃以避免延遲。 一些現實世界的例子 UPS Capital 的 DeliveryDefense UPS 使用人工智慧為地址分配“投遞置信度評分”，以預測包裹被盜的可能性。他們的 DeliveryDefense 軟體分析有關位置、遺失頻率和其他因素的歷史數據。如果位址得分較低，系統可以主動將包裹重新路由到安全的 UPS 接入點，並提供對該決定的解釋（例如，「由於盜竊歷史，包裹被重新路由到安全位置」）。該系統示範如何使用 XAI 來降低風險並透過以下方式建立客戶信任：透明度。 自動駕駛汽車 未來的這些車輛將需要有效地使用 XAI 來幫助他們的車輛做出安全、可解釋的決策。當自動駕駛汽車突然煞車時，系統可以為其行為提供即時解釋，例如透過識別行人踏入道路。這不僅對乘客的舒適度和信任度至關重要，也是證明人工智慧系統安全性和責任性的監管要求。 IBM Watson Health（及其挑戰） 雖然經常被引用為醫療保健領域人工智慧的一般範例，但它也是展示 XAI 重要性的有價值的案例研究。 Watson for Oncology 專案的失敗凸顯了當解釋不明確或基礎資料存在偏見或非本地化時可能會出現問題。該系統的建議有時與當地的臨床實踐不一致，因為它們是基於以美國為中心的指南。這是一個關於需要強大的、上下文感知的可解釋性的警示故事。 使用者體驗研究員的角色：找出並驗證解釋 我們的設計解決方案只有在正確的時間解決正確的使用者問題才有效。回答用戶沒有的問題的解釋只是噪音。這就是使用者體驗研究成為 XAI 策略中關鍵結締組織的地方，確保我們解釋對使用者真正重要的內容和方式。研究人員的角色是雙重的：首先，透過確定需要解釋的地方來為策略提供信息，其次，驗證提供這些解釋的設計。 告知 XAI 策略（解釋什麼） 在我們設計單一解釋之前，我們必須了解使用者對人工智慧系統的心理模型。他們認為它在做什麼？他們的理解與系統現實之間的差距在哪裡？這是使用者體驗研究員的基礎工作。 心智模式訪談：剖析使用者對人工智慧系統的看法 透過深入的半結構化訪談，使用者體驗從業者可以獲得關於使用者如何感知和理解人工智慧系統的寶貴見解。這些課程旨在鼓勵用戶真實地繪製或描述他們認為人工智慧如何運作的內部「心理模型」。這通常涉及提出開放式問題，提示使用者解釋系統的邏輯、輸入和輸出以及這些元素之間的關係。 這些訪談很有影響力，因為它們經常揭示用戶對人工智慧的深刻誤解和假設。例如，與推薦引擎互動的使用者可能會自信地斷言該系統純粹基於他們過去的觀看歷史記錄。他們可能沒有意識到演算法還結合了許多其他因素，例如他們瀏覽的時間、整個平台當前的熱門項目，甚至類似用戶的觀看習慣。 揭示使用者的心理模型與實際的人工智慧底層邏輯之間的差距至關重要。它準確地告訴我們需要向使用者傳達哪些具體訊息，以幫助他們建立更準確、更穩健的系統心理模型。反過來，這是培養信任的基本步驟。當使用者了解人工智慧如何得出結論或建議時，即使在較高的水平上，他們也更有可能信任其輸出並依賴其功能。 AI 旅程地圖：深入探討使用者信任度與可解釋性 透過使用人工智慧驅動的功能精心繪製使用者的旅程，我們獲得了寶貴的見解，了解出現困惑、沮喪甚至嚴重不信任的精確時刻。這揭示了使用者對人工智慧如何運作的心理模型與其實際行為發生衝突的關鍵時刻。 考慮音樂串流服務：當播放清單推薦感覺“隨機”，與他們過去的聆聽習慣或既定偏好缺乏任何明顯的聯繫時，用戶的信任度是否會直線下降？這種感知到的隨機性是對使用者對智慧管理的期望的直接挑戰，並且違反了人工智慧理解他們的品味的隱含承諾。同樣，在照片管理應用程式中，當人工智慧照片標記功能始終錯誤地識別出珍貴的家庭成員時，用戶是否會感到非常沮喪？這個錯誤不僅僅是技術故障；它觸及準確性、個人化甚至情感聯繫。 這些痛點是生動的訊號，準確地顯示哪裡需要適當、清晰、簡潔的解釋。此類解釋是至關重要的修復機制，可以修復信任漏洞，如果不解決，可能會導致用戶放棄。 人工智慧旅程地圖的力量在於它能夠讓我們超越簡單地解釋人工智慧系統的最終輸出。雖然了解人工智慧產生的結果很重要，但通常還不夠。相反，這個過程迫使我們在關鍵時刻集中精力解釋這個過程。這意味著尋址：
為什麼產生特定的輸出：是由於特定的輸入資料嗎？特定的模型架構？ 哪些因素影響了人工智慧的決策：某些特徵的權重是否較大？ 人工智慧如何得出結論：我們能否對其內部運作提供一個簡化的、類似的解釋？ 人工智慧做出了哪些假設：是否對使用者的意圖或需要浮出水面的資料有隱含的理解？ 人工智慧的限制是什麼：清楚傳達人工智慧不能做什麼，或者其準確性可能會動搖的地方，可以建立切合實際的期望。
AI 旅程映射將 XAI 的抽象概念轉變為使用者體驗從業者的實用、可操作的框架。它使我們能夠超越可解釋性的理論討論，而是找出用戶信任受到威脅的確切時刻，為構建強大、透明、可理解和值得信賴的人工智慧體驗提供必要的見解。 最終，研究是我們發現未知事物的方式。您的團隊可能正在討論如何解釋貸款被拒絕的原因，但研究可能表明用戶更關心的是了解他們的數據最初是如何使用的。如果沒有研究，我們只是猜測用戶想知道什麼。 協作設計（如何解釋你的人工智慧） 一旦研究確定了要解釋的內容，設計的協作循環就開始了。設計師可以對我們之前討論的模式（「因為」聲明、互動式滑桿）進行原型設計，研究人員可以將這些設計放在使用者面前，看看它們是否有效。 有針對性的可用性和理解性測試：我們可以設計專門測試 XAI 組件的研究。我們不只是問「這容易使用嗎？」我們問：「看到這個之後，你能用自己的話告訴我為什麼系統會推薦這個產品嗎？」或「告訴我你會怎麼做，看看是否能得到不同的結果。」這裡的目標是衡量理解性和可操作性以及可用性。 衡量信任本身：我們可以在解釋前後使用簡單的調查和評分量表。例如，我們可以按照 5 分制詢問使用者「您對這個推薦的信任程度如何？」在他們看到「因為」陳述之前，然後再問他們。這提供了定量數據，說明我們的解釋是否真正推動了信任。 這個過程創造了一個強大的迭代循環。研究結果為初步設計提供了資訊。然後測試該設計，並將新的發現回饋給設計團隊進行改進。也許「因為」的說法太行話了，或者「假設」滑桿比授權更令人困惑。透過這種協作驗證，我們確保最終的解釋在技術上是準確的、真正易於理解的、有用的，並且能夠為使用產品的人建立信任。 金髮女孩的解釋區 需要注意的是：可能會過度解釋。就像童話故事中金髮女孩尋找「恰到好處」的粥一樣，良好解釋的目標是提供適量的細節——不要太多也不要太少。用模型中的每個變數轟炸使用者會導致認知超載，實際上會降低信任度。目標不是讓使用者成為資料科學家。 一種解決方案是漸進式揭露。
從簡單的開始。以簡潔的「因為」陳述開頭。對於大多數用戶來說，這已經足夠了。 提供一條通往細節的道路。提供清晰、低摩擦的鏈接，例如“了解更多”或“查看這是如何確定的”。 揭示複雜性。在該連結後面，您可以提供互動式滑桿、視覺化或更詳細的影響因素清單。
這種分層方法尊重使用者的注意力和專業知識，提供恰到好處的數量滿足他們需求的資訊。假設您正在使用智慧家庭設備，該設備會根據各種因素推薦最佳暖氣。 從簡單的開始：“您家目前供暖溫度為 72 度，這是節能和舒適的最佳溫度。” 提供詳細資訊的路徑：下面有一個小連結或按鈕：“為什麼 72 度是最佳角度？” 揭示複雜性：點擊該連結可以打開一個新螢幕，顯示：
用於室外溫度、濕度和您喜歡的舒適度的互動式滑桿，示範它們如何調整建議的溫度。 不同溫度下能量消耗的可視化。 一系列影響因素，例如「一天中的時間」、「當前室外溫度」、「歷史能源使用情況」和「佔用感測器」。
結合多種 XAI 方法是有效的，而這種金髮女孩解釋區模式提倡漸進式揭露，隱含地鼓勵這種做法。您可以從一個簡單的“因為”陳述（模式 1）開始以便立即理解，然後提供一個“了解更多”鏈接，該鏈接揭示“假設”交互（模式 2）或“推拉視覺”（模式 4）以進行更深入的探索。 例如，貸款申請系統最初可以說明拒絕的主要原因（功能重要性），然後允許用戶與「假設」工具交互，看看收入或債務的變化將如何改變結果（反事實），最後提供詳細的「推拉」圖表（基於價值的解釋）來說明所有因素的正面和負面貢獻。這種分層方法允許用戶在需要時訪問他們需要的詳細信息，防止認知過載，同時仍然提供全面的透明度。 確定使用哪些 XAI 工具和方法主要取決於徹底的使用者體驗研究。心智模型訪談和人工智慧旅程圖對於找出與人工智慧理解和信任相關的使用者需求和痛點至關重要。心理模型訪談有助於揭示使用者對人工智慧運作方式的誤解，指出需要基本解釋（如特徵重要性或局部解釋）的領域。另一方面，人工智慧旅程地圖可以識別使用者與人工智慧互動中困惑或不信任的關鍵時刻，表明更精細或互動的解釋（如反事實或基於價值的解釋）最有利於重建信任和提供代理。
最終，選擇技術的最佳方法是讓使用者研究指導您的決策，確保您設計的解釋直接解決實際的使用者問題和擔憂，而不是簡單地提供技術細節。 用於深度推理代理的 XAI 一些最新的人工智慧系統，被稱為深度推理代理，可以為每項複雜的任務產生明確的「思維鏈」。他們不僅僅引用消息來源；它們展示了他們得出結論所採取的邏輯、一步一步的路徑。雖然這種透明度提供了有價值的上下文，但跨越多個段落的逐一播放可能會讓僅僅試圖完成任務的用戶感到不知所措。 XAI 的原則，尤其是金髮女孩解釋區，直接適用於此。我們可以策劃整個旅程，使用漸進式揭露來首先僅顯示最終結論和思考過程中最重要的步驟。當使用者需要仔細檢查邏輯或尋找特定事實時，他們可以選擇查看完整、詳細、多步驟的推理。這種方法尊重使用者的注意力，同時保持代理的完全透明度。 後續步驟：增強您的 XAI 之旅 可解釋性是建立值得信賴且有效的人工智慧產品的基本支柱。對於希望在組織內推動這項變革的高階從業人員來說，這個旅程超越了設計模式，延伸到了倡議和持續學習。 為了加深您的理解和實際應用，請考慮探索 IBM Research 的 AI Responsible 360 (AIX360) 工具包或 Google 的 What-If Tool 等資源，這些資源提供了探索模型行為和解釋的互動式方式。與負責任的人工智慧論壇等社群或專注於以人為本的人工智慧的特定研究小組合作可以提供寶貴的見解和合作機會。 最後，在您自己的組織內成為 XAI 的倡導者。將可解釋性視為一項策略性投資。考慮向您的領導階層或跨職能團隊進行簡短的推廣： 「透過投資 XAI，我們將不僅僅只是建立信任；我們將加速用戶採用，透過賦予用戶理解能力來降低支援成本，並透過揭露潛在偏見來減輕重大道德和監管風險。這是良好的設計和明智的業務。”
您基於實際理解的聲音對於將人工智慧帶出黑盒子並與用戶建立協作夥伴關係至關重要。
