Дизајнирање за аутономне агенте представља јединствену фрустрацију. Предајемо сложен задатак АИ, он нестаје на 30 секунди (или 30 минута), а затим се враћа са резултатом. Гледамо у екран. Да ли је успело? Да ли је халуцинирало? Да ли је проверио базу података о усклађености или је прескочио тај корак? На ову анксиозност обично одговарамо једном од две крајности. Или држимо систем као црну кутију, скривајући све да бисмо одржали једноставност, или ћемо се успаничити и обезбедити депонију података, стримујући сваку линију дневника и позив АПИ-ја кориснику. Ниједан приступ се директно не бави нијансама потребним да би се корисницима пружио идеалан ниво транспарентности. Црна кутија оставља кориснике да се осећају немоћно. Думп података ствара слепило за обавештавање, уништавајући ефикасност коју је агент обећао да ће пружити. Корисници игноришу стални ток информација све док се нешто не поквари, у ком тренутку им недостаје контекст да то поправе. Потребан нам је организован начин да пронађемо равнотежу. У мом претходном чланку, „Дизајнирање за агентску АИ“, погледали смо елементе интерфејса који граде поверење, као што је претходно приказивање намераване акције АИ (Прегледи намере) и давање корисницима контроле над тим колико АИ ради сама (Аутономи Диалс). Али знати које елементе користити само је део изазова. Теже питање за дизајнере је да знају када да их користе. Како знате који одређени тренутак у току рада од 30 секунди захтева преглед намере и који се може решити једноставним уносом у дневник? Овај чланак пружа метод за одговор на то питање. Проћи ћемо кроз ревизију чвора одлуке. Овај процес доводи дизајнере и инжењере у исту просторију да мапирају позадинску логику у кориснички интерфејс. Научићете како да тачно одредите тренутке када је кориснику потребно ажурирање о томе шта АИ ради. Такође ћемо покрити матрицу утицаја/ризика која ће помоћи да се одреди приоритет који чворови одлуке ће се приказати и било који повезани образац дизајна који ће се упарити са том одлуком. Тренуци транспарентности: пример студије случаја Узмите у обзир Меридиан (не право име), осигуравајућу компанију која користи агентску вештачку интелигенцију за обраду почетних захтева за незгоде. Корисник поставља фотографије оштећења возила и полицијски извештај. Агент затим нестаје на минут пре него што се врати са проценом ризика и предложеним распоном исплате. У почетку, Меридиан-ов интерфејс је једноставно приказивао Израчунавање статуса потраживања. Корисници су постали фрустрирани. Они су поднели неколико детаљних докумената и нису били сигурни да ли је АИ уопште прегледала полицијски извештај, који је садржао олакшавајуће околности. Црна кутија је створила неповерење. Да би ово поправио, дизајнерски тим је спровео ревизију чвора одлуке. Открили су да је АИ извршила три различита корака заснована на вероватноћи, са уграђеним бројним мањим корацима:
Анализа слике Агент је упоредио фотографије оштећења са базом података типичних сценарија саобраћајних несрећа да би проценио цену поправке. Ово је укључивало резултат самопоуздања. Текстуални прегледСкенирао је полицијски извештај за кључне речи које утичу на одговорност (нпр. грешка, временски услови, трезвеност). Ово је укључивало процену вероватноће правног статуса. Унакрсна референца смерница Упарила је детаље потраживања са специфичним условима политике корисника, тражећи изузетке или ограничења покривености. Ово је такође укључивало вероватноћу упаривања.
Тим је ове кораке претворио у тренутке транспарентности. Редослед интерфејса је ажуриран на:
Процена фотографија оштећења: Поређење са 500 профила удара возила. Преглед полицијског извештаја: Анализа кључних речи одговорности и правног преседана. Провера покривености смерницама: Провера одређених изузетака у вашем плану.
Систему је и даље било потребно исто време, али је експлицитна комуникација о интерном раду агента вратила поверење корисника. Корисници су разумели да вештачка интелигенција обавља сложен задатак за који је дизајнирана, и знали су тачно где да усредсреде своју пажњу ако се коначна процена чини нетачном. Овај избор дизајна трансформисао је тренутак анксиозности у тренутак везе са корисником. Примена матрице утицаја/ризика: шта смо изабрали да сакријемо Већина искустава АИ нема недостатак догађаја и чворова одлучивања који би потенцијално могли бити приказани током обраде. Један од најкритичнијих исхода ревизије био је одлучивање шта да остане невидљиво. У примеру Меридијана, бекенд евиденције су генерисале 50+ догађаја по захтеву. Могли смо подразумевано да прикажемо сваки догађај онако како су обрађени као део корисничког интерфејса. Уместо тога, применили смо матрицу ризика да бисмо их смањили:
Догађај дневника: Пинг серверВест-2 за проверу вишка. Пресуда филтера: Сакриј. (Ниски улози, висока техника).
Дневник догађаја: Упоређивање процене поправке са БлуеБоок вредношћу. Пресуда филтера: Прикажи. (Високи улози, утичу на исплату корисника).
Уклањањем непотребних детаља, важне информације — попут верификације покривености — биле су упечатљивије. Направили смо отворени интерфејс и дизајнирали отворено искуство. Овај приступ користи идеју да се људи осећају боље у вези са услугом када виде како се посао обавља. Приказујући конкретне кораке (процена, преглед, верификација), променили смо чекање од 30 секунди из времена бриге („Да ли је покварено?“) у време осећања да се нешто вредно ствара („Размишља се“). Хајде да сада ближе погледамо како можемо да прегледамо процес доношења одлука у нашим производима да бисмо идентификовали кључне моменте који захтевају јасне информације. Ревизија чвора одлуке Транспарентност не успева када је третирамо као избор стила, а не као функционални захтев. Имамо тенденцију да питамо: „Како би требало да изгледа корисничко сучеље?“ пре него што питамо: „Шта агент заправо одлучује?“ Ревизија чвора одлучивања је директан начин да се системи вештачке интелигенције лакше разумеју. Функционише тако што пажљиво мапира унутрашњи процес система. Главни циљ је пронаћи и јасно дефинисати тачне тренутке у којима систем престаје да прати своја постављена правила и уместо тога прави избор на основу случајности или процене. Мапирањем ове структуре, креатори могу показати ове тачке неизвесности директно људима који користе систем. Ово мења ажурирања система од нејасних изјава до конкретних, поузданих извештаја о томе како је АИ дошла до свог закључка. Поред горе наведене студије случаја осигурања, недавно сам радио са агентом за набавку тима за изградњу тима. Систем је прегледао уговоре са добављачима и означио ризике. Првобитно, екран је приказивао једноставну траку напретка: „Преглед уговора“. Корисници су га мрзели. Наше истраживање је показало да су забринути због правних импликација клаузуле која недостаје. Ово смо поправили спровођењем ревизије чвора одлуке. Укључио сам контролну листу корак по корак за спровођење ове ревизије на крају овог чланка. Одржали смо сесију са инжењерима и објаснили како систем функционише. Идентификовали смо „тачке одлуке“ — тренутке у којима је вештачка интелигенција морала да бира између две добре опције. У стандардним компјутерским програмима, процес је јасан: ако се деси А, онда ће се увек десити Б. У системима вештачке интелигенције, процес се често заснива на случају. АИ мисли да је А вероватно најбољи избор, али може бити само 65% сигурно. У систему уговора пронашли смо тренутак када је АИ проверио услове одговорности у складу са правилима наше компаније. Ретко је то био савршен спој. АИ је морао да одлучи да ли је подударање од 90% довољно добро. Ово је била кључна тачка одлуке.
Када смо идентификовали овај чвор, изложили смо га кориснику. Уместо „Преглед уговора“, интерфејс је ажуриран тако да каже: „Клаузула о одговорности се разликује од стандардног шаблона. Анализа нивоа ризика.“ Ово специфично ажурирање је корисницима дало поверење. Знали су да је агент проверио клаузулу о одговорности. Схватили су разлог кашњења и стекли поверење да се жељена акција дешава на полеђини. Такође су знали где да копају дубље када агент склопи уговор. Да бисте проверили како вештачка интелигенција доноси одлуке, потребно је да блиско сарађујете са својим инжењерима, менаџерима производа, пословним аналитичарима и кључним људима који доносе одлуке (често скривене) које утичу на функционисање алата АИ. Нацртајте кораке које алат предузима. Означите свако место где процес мења правац јер је испуњена вероватноћа. Ово су места на којима би требало да се фокусирате на транспарентност. Као што је приказано на слици 2 у наставку, ревизија чвора одлуке укључује ове кораке:
Окупите тим: доведите власнике производа, пословне аналитичаре, дизајнере, кључне доносиоце одлука и инжењере који су изградили АИ. на пример, Размислите о производном тимском стварању алата АИ дизајнираног да прегледа неуредне правне уговоре. Тим укључује УКС дизајнера, менаџера производа, истраживача УКС-а, правника који се понаша као стручњак за предметну тему и позадинског инжењера који је написао код за анализу текста.
Нацртајте цео процес: Документујте сваки корак који АИ предузима, од прве радње корисника до коначног резултата. Тим стоји за таблом и скицира читав низ за кључни ток посла који укључује АИ тражење клаузуле о одговорности у сложеном уговору. Адвокат постављаПДФ од педесет страница → Систем конвертује документ у читљив текст. → АИ скенира странице у потрази за клаузулама одговорности. → Корисник чека. → Неколико тренутака или минута касније, алатка истиче пронађене пасусе жутом бојом на корисничком интерфејсу. Они то раде за многе друге токове рада које алат такође прихвата.
Пронађите где су ствари нејасне: Погледајте мапу процеса за било које место где АИ упоређује опције или улазе који немају једно савршено подударање. Тим гледа у таблу да уочи нејасне кораке. Претварање слике у текст следи строга правила. Проналажење специфичне клаузуле о одговорности укључује нагађање. Свака фирма другачије пише ове клаузуле, тако да АИ мора да одмери више опција и направи предвиђање уместо да пронађе тачно подударање речи.
Идентификујте кораке „најбоље претпоставке“: За свако нејасно место проверите да ли систем користи оцену поузданости (на пример, да ли је 85% сигуран?). Ово су тачке у којима АИ доноси коначан избор. Систем мора погодити (дати вероватноћу) који параграф(и) веома личе на стандардну клаузулу о одговорности. Својој најбољој претпоставци додељује оцену поузданости. Та претпоставка је чвор одлуке. Интерфејс треба да каже адвокату да истиче потенцијално подударање, уместо да каже да је пронашао дефинитивну клаузулу.
Испитајте избор: За сваку тачку избора одредите конкретну интерну математику или поређење које се ради (нпр. упаривање дела уговора са полисом или упоређивање слике поквареног аутомобила са библиотеком фотографија оштећених аутомобила). Инжењер објашњава да систем пореди различите параграфе са базом података стандардних клаузула о одговорности из прошлих случајева фирми. Он израчунава оцену сличности текста да би се одлучио о подударању на основу вероватноће.
Напишите јасна објашњења: Креирајте поруке за корисника које јасно описују специфичну интерну радњу која се дешава када АИ направи избор. Дизајнер садржаја пише специфичну поруку за овај тренутак. Текст гласи: Упоређивање текста документа са стандардним клаузулама фирме да би се идентификовали потенцијални ризици одговорности.
Ажурирајте екран: Ставите ова нова, јасна објашњења у кориснички интерфејс, замењујући нејасне поруке попут „Преглед уговора“. Дизајнерски тим уклања генерички спинер за учитавање ПДФ-а за обраду. Они убацују ново објашњење у статусну траку која се налази тачно изнад прегледача докумената док АИ размишља.
Проверите поверење: Уверите се да нове поруке на екрану дају корисницима једноставан разлог за време чекања или резултат, што би требало да учини да се осећају сигурније и поузданије.
Матрица утицаја/ризика Једном када пажљиво погледате процес вештачке интелигенције, вероватно ћете пронаћи много тачака у којима она прави избор. АИ може направити десетине малих избора за један сложен задатак. Приказивањем свих њих ствара се превише непотребних информација. Морате груписати ове изборе. Можете користити матрицу утицаја/ризика да сортирате ове изборе на основу типова радњи које АИ предузима. Ево примера матрица утицаја/ризика: Прво, потражите одлуке са малим улозима и малим утицајем. Ниски улози / мали утицај
Пример: Организовање структуре датотеке или преименовање документа. Потреба за транспарентношћу: минимална. Довољно је суптилно обавештење о здравици или унос у дневник. Корисници могу лако да пониште ове радње.
Затим идентификујте одлуке са високим улозима и великим утицајем. Високи улози / Велики утицај
Пример: Одбијање захтева за кредит или извршење трговине акцијама. Потреба за транспарентношћу: висока. Ове радње захтевају доказ о раду. Систем мора да покаже образложење пре или одмах док делује.
Замислите бота за финансијско трговање који све наруџбе за куповину/продају третира исто. Извршава трговину од 5 долара са истом непрозирношћу као трговина од 50.000 долара. Корисници би се могли запитати да ли алат препознаје потенцијални утицај транспарентности на трговање великим износом у доларима. Потребан им је систем да паузира и покаже свој рад за трговине са високим улозима. Решење је да се уведе стање логике прегледа за сваку трансакцију која прелази одређени износ у доларима, омогућавајући кориснику да види факторе који доводе до одлуке пре извршења. Пресликавање чворова на обрасце: Рубрика за одабир узорка дизајна Када идентификујете кључне чворове одлуке вашег искуства, морате одлучити који УИ образац се примењује на сваки од њих који ћете приказати. У Десигнинг Фор Агентиц АИ, увели смо обрасце као што су Преглед намјере (за контролу високих улога) и Ацтион Аудит (за ретроспективну сигурност). Одлучујући фактор у избору између њих је реверзибилност. Филтрирамо свакичвор одлучивања кроз матрицу утицаја да би се доделио тачан образац: Високи улози и неповратни: Ови чворови захтевају преглед намере. Пошто корисник не може лако да поништи радњу (нпр. трајно брисање базе података), тренутак транспарентности се мора догодити пре извршења. Систем мора да паузира, објасни своју намеру и захтева потврду. Високи улози и реверзибилни: Ови чворови се могу ослонити на Ацтион Аудит & Ундо образац. Ако агент за продају са АИ помери потенцијалног клијента на други цевовод, може то да уради самостално све док обавести корисника и понуди тренутно дугме Поништи. Строгом категоризацијом чворова на овај начин избегавамо „замор од упозорења“. Задржали смо преглед намере са великим трењем само за заиста неповратне тренутке, док се ослањамо на Акциону ревизију да одржимо брзину за све остало.
Реверзибилно Неповратно Лов Импацт Тип: Ауто-ЕкецутеУИ: Пасивни Тоаст / ЛогЕк: Преименовање датотеке Тип: ЦонфирмУИ: Једноставна опција поништавања Пример: Архивирање е-поште Хигх Импацт Тип: РевиевУИ: Обавештење + Преглед ТраилЕк: Слање нацрта клијенту Тип: Интент превиевУИ: Модални / Експлицитни ПермиссионЕк: Брисање сервера
Табела 1: Матрица утицаја и реверзибилности се затим може користити за мапирање ваших тренутака транспарентности у обрасце дизајна. Квалитативна валидација: „Чекање, зашто?“ Тест Можете идентификовати потенцијалне чворове на белој табли, али их морате потврдити људским понашањем. Морате да проверите да ли ваша мапа одговара менталном моделу корисника. Користим протокол који се зове „Чекај, зашто?“ Тест. Замолите корисника да гледа како агент обавља задатак. Упутите их да говоре наглас. Кад год поставе питање: "Чекај, зашто је то урадио?" или „Да ли се заглавило?“ или „Да ли ме је чуло?“ — означите временску ознаку. Ова питања сигнализирају збуњеност корисника. Корисник осећа да му контрола измиче. На пример, у студији за асистента за заказивање здравствене неге, корисници су гледали како агент резервише термин. Екран је био статичан четири секунде. Учесници су стално питали: „Да ли је то провера мог календара или доктора?“
То питање је открило недостајући тренутак транспарентности. Систем је морао да подели то чекање од четири секунде у два различита корака: „Провера доступности“, а затим „Синхронизација са распоредом добављача“. Ова мала промена смањила је изражене нивое анксиозности корисника. Транспарентност не успева када описује само радњу система. Интерфејс мора да повеже технички процес са специфичним циљем корисника. Екран на коме се приказује „Провера доступности“ пада јер му недостаје контекст. Корисник разуме да АИ гледа у календар, али не зна зашто. Морамо упарити акцију са исходом. Систем треба да подели то чекање од четири секунде у два различита корака. Прво, интерфејс приказује „Провера вашег календара да бисте пронашли отворена времена“. Затим се ажурира на „Синхронизација са распоредом провајдера да би се обезбедио ваш термин“. Ово заснива технички процес у стварном животу корисника. Размислите о АИ који управља инвентаром за локални кафић. Систем наилази на недостатак снабдевања. Интерфејс који чита „контактирање добављача“ или „опције прегледа“ ствара анксиозност. Менаџер се пита да ли систем отказује поруџбину или купује скупу алтернативу. Бољи приступ је да се објасни намеравани резултат: „Процена алтернативних добављача како би се одржао распоред испоруке у петак.“ Ово тачно говори кориснику шта АИ покушава да постигне. Операционализација ревизије Завршили сте ревизију чвора одлуке и филтрирали своју листу кроз матрицу утицаја и ризика. Сада имате листу кључних тренутака за транспарентност. Затим морате да их креирате у корисничком интерфејсу. Овај корак захтева тимски рад у различитим одељењима. Не можете сами да дизајнирате транспарентност помоћу алата за дизајн. Морате разумети како систем функционише иза кулиса. Почните са логичким прегледом. Упознајте се са главним дизајнером система. Донесите своју мапу чворова одлучивања. Морате да потврдите да систем заиста може да дели ова стања. Често откријем да технички систем не открива тачно стање које желим да прикажем. Инжењер би могао рећи да систем само враћа општи „радни“ статус. Морате инсистирати на детаљном ажурирању. Потребан вам је систем да пошаљете одређено обавештењекада прелази са читања текста на проверу правила. Без те техничке везе, ваш дизајн је немогуће изградити. Затим укључите тим за дизајн садржаја. Имате технички разлог за акцију АИ, али вам је потребно јасно објашњење прилагођено људима. Инжењери обезбеђују основни процес, али дизајнери садржаја обезбеђују начин на који се комуницира. Не пишите ове поруке сами. Програмер би могао да напише „Извршавање функције 402“, што је технички исправно, али безначајно за корисника. Дизајнер би могао написати „Размишљање“, што је пријатељски, али превише нејасно. Стратег садржаја проналази праву средину. Они стварају специфичне фразе, као што је „Скенирање ризика од одговорности“, које показују да АИ ради без збуњивања корисника. На крају, тестирајте транспарентност својих порука. Немојте чекати да се направи коначни производ да бисте видели да ли текст функционише. Спроводим упоредне тестове на једноставним прототиповима где је једина ствар која се мења је статусна порука. На пример, показујем једној групи (Група А) поруку која каже „Провера идентитета“, а другој групи (Група Б) поруку која каже „Провера државних база података“ (ово су измишљени примери, али разумете поенту). Онда их питам који АИ се осећа сигурнијим. Често ћете открити да одређене речи изазивају забринутост, док друге граде поверење. Морате третирати формулацију као нешто што треба да тестирате и покажете делотворним. Како ово мења процес дизајна Спровођење ових ревизија има потенцијал да ојача начин на који тим ради заједно. Престајемо са предајом углађених фајлова дизајна. Почињемо да користимо неуредне прототипове и заједничке табеле. Основни алат постаје матрица транспарентности. Инжењери и дизајнери садржаја уређују ову табелу заједно. Они мапирају тачне техничке кодове на речи које ће корисник прочитати. Тимови ће доживети трења током логичког прегледа. Замислите да дизајнер пита инжењера како АИ одлучује да одбије трансакцију поднету у извештају о трошковима. Инжењер би могао рећи да позадинска страна само емитује генерички статусни код као што је „Грешка: недостају подаци“. Дизајнер наводи да ово није стварна информација на екрану. Дизајнер преговара са инжењером да направи специфичну техничку куку. Инжењер пише ново правило тако да систем извештава тачно шта недостаје, као што је слика рачуна која недостаје. Дизајнери садржаја делују као преводиоци током ове фазе. Програмер би могао да напише технички тачан стринг као што је „Израчунавање прага поузданости за подударање добављача“. Дизајнер садржаја преводи тај низ у фразу која гради поверење за одређени исход. Стратег то преписује као „Упоређивање цена локалних добављача да бисте обезбедили испоруку у петак.“ Корисник разуме акцију и резултат. Цео вишефункционални тим учествује у сесијама тестирања корисника. Гледају како стварна особа реагује на различите статусне поруке. Видећи корисничку панику јер на екрану пише „Извршавање трговине“ приморава тим да поново размисли о свом приступу. Инжењери и дизајнери се усклађују око бољег текста. Они мењају текст у „Провера довољних средстава“ пре куповине акција. Заједничко тестирање гарантује да коначни интерфејс служи и логици система и корисниковом безбрижности. Потребно је време да се ове додатне активности уврсте у календар тима. Међутим, крајњи резултат би требало да буде тим који отвореније комуницира и корисници који боље разумеју шта њихови алати са вештачком интелигенцијом раде у њихово име (и зашто). Овај интегрисани приступ је камен темељац дизајнирања заиста поузданих АИ искустава. Поверење је избор дизајна Често гледамо на поверење као на емоционални нуспроизвод доброг корисничког искуства. Лакше је посматрати поверење као механички резултат предвидљиве комуникације. Градимо поверење показујући праве информације у право време. Уништавамо га тако што преплавимо корисника или потпуно сакријемо машинерију. Започните са ревизијом чвора одлучивања, посебно за агентске АИ алате и производе. Пронађите тренутке у којима систем доноси одлуку. Мапирајте те тренутке у матрицу ризика. Ако су улози велики, отвори кутију. Покажите рад. У следећем чланку ћемо погледати како да дизајнирамо ове тренутке: како написати копију, структурирати кориснички интерфејс и руковати неизбежним грешкама када агент погреши. Додатак: Контролна листа за ревизију чвора одлуке Фаза 1: Подешавање и мапирање ✅ Окупите тим: доведите власнике производа, пословне аналитичаре, дизајнере,кључни доносиоци одлука и инжењери који су изградили АИ. Савет: Потребни су вам инжењери да објасне стварну позадинску логику. Не покушавајте сами са овим кораком. ✅ Нацртајте цео процес: Документујте сваки корак који АИ предузима, од прве радње корисника до коначног резултата. Савет: Физичка сесија беле табле често најбоље функционише за цртање ових почетних корака. Фаза 2: Лоцирање скривене логике ✅ Пронађите где су ствари нејасне: Погледајте мапу процеса за било које место где АИ упоређује опције или улазе који немају једно савршено подударање. ✅ Идентификујте најбоље кораке за погађање: За свако нејасно место проверите да ли систем користи оцену поузданости. На пример, питајте да ли је систем 85 посто сигуран. Ово су тачке у којима АИ доноси коначан избор. ✅ Испитајте избор: За сваку тачку избора одредите конкретну интерну математику или поређење које се ради. Пример је усклађивање дела уговора са полисом. Други пример укључује поређење слике поквареног аутомобила са библиотеком фотографија оштећених аутомобила. Фаза 3: Креирање корисничког искуства ✅ Пишите јасна објашњења: Креирајте поруке за корисника које јасно описују конкретну интерну радњу која се дешава када АИ направи избор. Савет: Утемељите своје поруке у конкретној стварности. Ако АИ резервише састанак са клијентом у локалном кафићу, реците кориснику да систем проверава систем за резервације кафеа. ✅ Ажурирајте екран: Ставите ова нова, јасна објашњења у кориснички интерфејс. Замените нејасне поруке као што је Преглед уговора својим конкретним објашњењима. ✅ Проверите поверење: Уверите се да нове поруке на екрану дају корисницима једноставан разлог за време чекања или резултат. Ово би требало да учини да се осећају самоуверено и поверљиво. Савет: Тестирајте ове поруке са стварним корисницима да бисте потврдили да разумеју конкретан исход који се постиже.
