Данас на Декодеру разговарам са Ронаном Фароуом, једном од највећих звезда истраживачког новинарства које данас ради. Разбио је причу о Харвију Вајнштајну, између многих, многих других. И управо прошле недеље, он и коаутор Ендрју Маранц објавили су у Тхе Нев Иоркер-у невероватну детаљну причу о извршном директору ОпенАИ-а, Сему Алтману, његовој поузданости и успону самог ОпенАИ-а.
Једну напомену пре него што наставимо даље — Тхе Нев Иоркер је објавио ту причу и Ронан и ја смо водили овај разговор пре него што смо сазнали за пуну величину напада на Алтманов дом, тако да нас нећете чути директно о томе. Али само да кажем, мислим да је насиље било које врсте неприхватљиво, ови напади на Сема су били неприхватљиви, и да је врста беспомоћности коју људи осећају, која доводи до ове врсте насиља, сама по себи неприхватљива, и вреди много више пажње и од стране индустрије и наших политичких лидера. Надам се да је то јасно.
Претплатници Верге, не заборавите да добијате ексклузивни приступ Декодеру без огласа где год да добијете своје подкастове. Иди овамо. Нисте претплатник? Можете се пријавити овде.
Све што је речено, много се врти око Алтмана и то је поштена игра за ригорозно извештавање - врсту извештавања коју су Ронан и Ендру намеравали да ураде. Захваљујући популарности ЦхатГПТ-а, Алтман се појавио као највидљивија фигура у индустрији вештачке интелигенције, претворивши некада непрофитну истраживачку лабораторију у приватну компанију од скоро трилиона долара за само неколико година. Али мит о Алтману је дубоко конфликтан, подједнако дефинисан и његовом очигледном способношћу склапања уговора и његовом пријављеном тенденцијом да… па, лаже све око себе.
Прича је дуга преко 17.000 речи и садржи вероватно коначан приказ онога што се догодило 2023. године када је управни одбор ОпенАИ-а веома изненада отпустио Алтмана због његовог наводног лагања, само да би он био скоро тренутно поново ангажован. То је такође дубоко урањање у Алтманов лични живот, његове инвестиције, његово удварање блискоисточном новцу и његова сопствена размишљања о његовом прошлом понашању и карактерним особинама које су навеле један извор да каже да није био „спутан истином“. Заиста предлажем да прочитате целу причу; Претпостављам да ће се спомињати још много година.
Ронан је разговарао са Алтманом много пута током 18 месеци колико је провео извештавајући о овом делу, тако да је једна од главних ствари која ме је занимала била да ли је осетио било какву промену у Алтману током тог времена. На крају крајева, много се тога догодило у вештачкој интелигенцији, технологији и свету у протеклих годину и по дана.
Чућете како Ронан говори о томе веома директно, као и његов осећај да су људи постали много спремнији да говоре о Алтмановој способности да растегне истину. Људи почињу да се питају, наглас и на записник, да ли је понашање људи попут Алтмана забрињавајуће, не само за вештачку интелигенцију или технологију, већ и за колективну будућност друштва.
У реду: Ронан Фароу о Саму Алтману, вештачкој интелигенцији и истини. Ево нас.
Овај интервју је благо уређен ради дужине и јасноће.
Ронан Фароу, ви сте истраживачки новинар и сарадник Тхе Нев Иоркер-а. Добродошли у Децодер.
Драго ми је што сам овде. Хвала што сте ме примили.
Веома сам узбуђен што разговарам са вама. Управо сте написали велики чланак за Тхе Нев Иоркер. То је профил Сема Алтмана и, на неки начин, ОпенАИ. Прочитао сам да, као и све сјајне карактеристике, он, уз ригорозно извештавање, потврђује многа осећања која људи имају о Сему Алтману већ дуго времена. Очигледно сте то објавили, добили сте реакције на то. Како се сада осећате у вези са тим?
Па, заправо ме је охрабрила обим у којој је то пробијено у време када је економија пажње тако некако шизофрена и плитка. Ово је прича која, по мом мишљењу, утиче на све нас. И када сам провео годину и по свог живота, а мој коаутор, Ендрју Маранц, такође је провео то своје време, заиста покушавајући да уради нешто форензичко и педантно, то је увек зато што осећам да постоје већи структурални проблеми који утичу на људе изван појединца и компаније у срцу приче.
Сем Алтман, у позадини културе узбуђења у Силицијумској долини и стартапа који се развијају до масивних вредновања заснованих на обећањима која се могу, али не морају испунити у будућности, и све веће прихватање културе оснивача која мисли да је причање различитим групама различитих конфликтних ствари карактеристика, а негрешка… Чак и у тој позадини, Сем Алтман је изузетан случај у коме свако у Силицијумској долини који очекује те ствари не може да престане да прича о овом питању његове поузданости и његовог поштења.
Већ смо знали да је отпуштен због неке верзије навода о непоштењу или серијског наводног лагања. Али изванредно, упркос чињеници да је било дивних извештаја, Кеацх Хагеи је урадио сјајан посао на овоме. Карен Хао је урадила велики посао на овоме. Заиста није било дефинитивног разумевања стварних наводних доказа и разлога зашто су они остали ван очију јавности.
Дакле, тачка број један је да се осећам охрабрено чињеницом да су неке од тих празнина у нашем јавном знању, па чак и у знању инсајдера из Силицијумске долине, сада мало више попуњене. Неки од разлога због којих је било празнина су још мало попуњени.
Извештавамо о случајевима када су се људи у овој компанији заиста осећали као да су ствари заташкане или намерно нису документоване. Једна од нових ствари у овој причи је кључна истрага адвокатске фирме ВилмерХале, која је очигледно фенси, кредибилна, велика адвокатска фирма која је радила истраге Енрона и ВорлдЦома, које су, иначе, биле обимне, попут стотина објављених страница. ВилмерХале је урадио ову истрагу коју су захтевали чланови одбора који су отпустили Алтмана као услов за њихов одлазак када их се отарасио, а он се вратио. И изванредно - у очима многих правних стручњака са којима сам разговарао, и шокантно у очима многих људи у овој компанији - то су затајили. Све што је икада произашло из тога је саопштење за јавност ОпенАИ од 800 речи које описује оно што се догодило као слом поверења. И ми смо потврдили да је то држано на усменим брифинзима.
Постоје случајеви у којима, на пример, члан одбора наизглед жели да гласа против конверзије из оригиналног ОпенАИ-овог непрофитног облика у профитни ентитет, а то је забележено као уздржан. На састанку је као адвокат који каже: „Па, то би могло да изазове превише преиспитивања. А особа која жели да гласа против бива забележена као уздржана. Постоји чињенични спор. ОпенАИ тврди другачије, као што можете замислити. Све су то случајеви када имате компанију која по сопственом нахођењу држи нашу будућност у својим рукама.
Сигурносни улози су толико акутни да нису нестали. То је разлог зашто је ова компанија основана као непрофитна организација фокусирана на безбедност, и где су ствари биле замагљене на начин да су кредибилни људи око тога сматрали да је то мање него професионално. И то упарите са позадином у којој је тако мало политичког апетита за смисленом регулацијом. Мислим да је то веома запаљива ситуација.
Поента за мене није само да Сем Алтман заслужује ова питања тако оштро. Такође је да било који од ових момака у овој области, и многе кључне личности, показују, ако не ову посебну идиосинкратичну, наводну особину да лажу све време, свакако неки степен менталитета трке до дна, где су људи који су били безбедњаци разводнили те обавезе и сви су у трци.
Мислим да, док гледамо недавна цурења из Антхропиц-а, постоји особа која поставља питање ко би требало да држи прст на дугмету у овом делу. Одговор је, ако немамо смислен надзор, мислим да морамо да постављамо озбиљна питања и покушавамо да изнесемо што више информација о свим овим момцима. Тако да ме је охрабрило оно што се чини као смислен разговор о томе, или почеци истог.
Разлог зашто сам то тако питао је тај што сте на томе радили годину и по дана. Разговарали сте са, верујем, 100 људи са својим коаутором, Ендрјуом. То је дуго времена за припрему приче. Размишљам о последњих годину и по дана у вештачкој интелигенцији, и дечаче, веома брзо су се променили ставови и вредности свих ових ликова.
Можда ништа више од Сем Алтмана, који је почео као подразумевани победник јер су пустили ЦхатГПТ и сви су мислили да ће то само преузети за Гоогле. А онда је Гугл одговорио, што их је изгледало изненадило да ће Гоогле покушати да заштити своје пословање, можда једно од најбољих предузећа у историји технологије, ако не и пословну историју. Антхропиц је одлучио да се фокусира на предузеће. Чини се да преузима командно вођствопостоји зато што је употреба АИ у предузећима тако висока.
Сада, ОпенАИ преусмерава свој производ са „ми ћемо преузети Гоогле“ на Цодек, а они ће преузети предузеће. Само не могу тачно да кажем да ли су се током вашег извештавања у последњих годину и по дана ликови са којима сте разговарали променили? Као и њихови ставови и њихове вредности, да ли су се они променили?
Да. Пре свега, мислим да је критика која се истражује у овом делу, а која долази од многих људи унутар ових компанија у овом тренутку – да је ово индустрија која се, упркос егзистенцијалним улозима, спушта у нешто попут трке до дна по питању безбедности и где брзина надмашује све остало – та забринутост је постала још акутнија. И мислим да су те забринутости више потврђене како је прошло годину и по дана. Истовремено, ставови о Сему Алтману су се посебно променили. Када смо почели да разговарамо са изворима о овоме, људи су били заиста, заиста сумњичави да их цитирају о овоме и да о томе говоре у записник.
До краја нашег извештавања, имате корпус извештаја у којима људи говоре о томе веома отворено и експлицитно, а имате и чланове одбора који говоре ствари попут: „Он је патолошки лажов. Он је социопата.“ Постоји низ перспектива од „Ово је опасно с обзиром на безбедносне улоге, и потребни су нам лидери ове технологије који имају повишен интегритет“, па све до „Заборавите безбедносне улоге, ово је понашање које је неодрживо за било ког руководиоца било које велике компаније, да само ствара превише дисфункције.“
Дакле, разговор је постао много експлицитнији на начин који се чини закашњелим, али је у једном смислу охрабрујући. И Сем Алтман, свака му част... Комад је веома поштен и чак великодушан, рекао бих, према Сему. Ово није врста дела у којој је било много ствари „добио сам те“. Провео сам много, много сати на телефону с њим док смо ово завршавали и заиста га чуо.
Као што можете замислити, у оваквом комаду не успева све. Неки од тих случајева у овом су били зато што сам искрено слушао. И ако је Сем заправо износио аргумент да сам осећао да носи воду, да би нешто, чак и да је тачно, могло бити сензационалистичко, заиста сам погрешио што сам задржао ову форензичку и одмерену. Тако да мислим да је то исправно прихваћено, и само се надам да ће ова чињенична евиденција која се накупила током овог временског периода може покренути снажнији разговор о потреби за надзором.
То је заправо моје следеће питање. Мислим да сте разговарали са Семом десетак пута током извештавања о овој причи. Опет, то је много разговора током дужег временског периода. Да ли сте мислили да се Сам променио током извештавања у протеклих годину и по дана?
Да. Мислим да је један од најзанимљивијих подзаплета у томе да Сем Алтман такође говори о овој особини експлицитније него што је то говорио у прошлости. Став Сама у овом делу није као: „Тамо нема ничега, ово није истина; не знам о чему причате. Његов став је да каже да се то може приписати склоности угађању људима и својеврсној аверзији сукоба. Он признаје да му је то стварало проблеме, посебно раније у каријери.
Он каже: „Па, пролазим даље од тога, или сам до неке мере прешао преко тога.“ Мислим да ми је заиста интересантан контингент људи са којима смо разговарали, а који нису били само нека врста заговорника безбедности, не само технички истраживачи који су врло често склони да имају ове акутне забринутости за безбедност, већ и прагматични, велики инвеститори. Они подржавају Семове, који у неким случајевима гледају на ово питање и говоре о томе да су чак одиграли кључну улогу у његовом повратку након отпуштања. Сада, на ово питање да ли је реформисан и у којој мери је та промена смислена, они кажу: „Па, ми смо му дали предност сумње у то време.
Посебно мислим на једног истакнутог инвеститора који је рекао: „Али од тада је јасно да није изнесен иза дрварнице“, што је била фраза коју је овај користио, у мери у којој је то било неопходно. Као резултат тога, чини се да је ово сада стабилна особина. Ово видимо на континуиран начин. Можете погледати неке од највећих послова ОпенАИ-аодносе и начин на који на неки начин носе тежину тог неповерења на континуиран начин.
Као и са Мицрософтом, тамо разговарате са руководиоцима и они имају заиста акутне и недавно покренуте забринутости. Постоји овај случај када истог дана ОпенАИ поново потврђује своју ексклузивност са Мицрософтом у погледу основних модела вештачке интелигенције без држављанства, он такође најављује нови договор са Амазоном који се односи на продају корпоративних решења за прављење АИ агената који имају статус, што значи да имају меморију.
Разговарате са људима из Мицрософта, а они кажу: „То није могуће без интеракције са основним стварима о којима имамо ексклузивни уговор.“ Дакле, то је само један од многих малих примера у којима ова особина има везе са текућим пословним активностима све време и предмет је активне бриге унутар одбора ОпенАИ-а, унутар његовог извршног пакета и у широј технолошкој заједници.
Стално говорите ту "особину". Постоји линија у причи која ми се чини као теза, а то је опис особине коју описујете. Ради се о томе да „Сам Алтман није спутан истином“ и да има „две особине које се готово никада не виде код исте особе: прва је снажна жеља да се угоди људима, да се допадне у било којој интеракцији, а друга је готово социопатски недостатак бриге за последице које могу произаћи из обмане некога“.
Морам да вам кажем, прочитао сам ту реченицу 500 пута, и покушао сам да замислим да увек говорим оно што људи желе да им се допадну, а затим да не будем узнемирен када се осећају да су их лагали. И нисам могао да натерам своје емоционално стање да схвати како те ствари могу постојати у истој особи. Много сте разговарали са Семом и разговарали сте са људима који су искусили ове особине. Како то ради?
Да. Занимљиво је на људском нивоу јер ја приступам оваквим извештајима са стварним фокусом на хуманизовање онога ко је у срцу тога и тражећи дубоко разумевање и емпатију. Када сам на неки начин покушао да приступим овоме са више хуманог становишта и рекао: "Хеј, ово би било поражавајуће за мене када би толико људи са којима сам радио рекло да сам патолошки лажов. Како носите ту тежину? Како о томе говорите на терапији? Која је прича коју себи причате о томе?"
Имам неку врсту, по мом мишљењу, можда флоскуле са Западне обале о томе попут: „Да, волим да радим на дисање“. Али не много оног снажног осећаја дубоког суочавања са самим собом за који мислим да би многи од нас вероватно имали да смо видели ову врсту повратних информација о нашем понашању и нашем опхођењу према људима.
Мислим да се то заправо односи и на шири одговор на питање. Сем тврди да је ова особина изазвала проблеме, али и да је то део онога што га је оснажило да толико убрза раст ОпенАИ-а да је у стању да уједини и задовољи различите групе људи. Он стално убеђује све ове сукобљене бирачке јединице да је њима стало оно до чега је њему стало. А то може бити заиста корисна вештина за оснивача. Разговарао сам са инвеститорима који тада кажу: „Па, можда је то мање корисна вештина за стварно вођење компаније јер сеје толико неслоге.“
Али што се тиче Семове личне стране, мислим да је ствар коју схватам када покушавам да се повежем на људском нивоу очигледан недостатак дубље конфронтације, рефлексије и самоодговорности, што такође указује на ту супермоћ или одговорност за компанију која се припрема за ИПО.
Он је неко ко је, према речима једног бившег члана одбора по имену Суе Иоон, који је у записнику у делу који каже да је фраза коју она користи до тачке „безобразлука“, у стању да заиста верује у променљиву реалност својих продајних предлога или је у стању да се увери у њих. Или барем ако им не верује, у стању је да их прође без значајне сумње.
Мислим да је ствар о којој говорите, где бисмо ви или ја могли, док то говоримо и схватамо да је у супротности са другим уверавањем које смо дали, на неки тренутак да се замрзнемо или проверимо. Мислим да се то код њега не дешава. А ту је и шира култура узбуђења у Силицијумској долини и култура оснивача која то прихвата.
Смешно је. Верге је заснован на ономе што представља преглед производапрограм. То је срце онога што радимо овде. Држим трилион долара Аппле Р&Д једном годишње и кажем: „Овај телефон је седам.“ И то некако легитимише сва наша извештавања и наша мишљења на другим местима. Имамо функцију евалуације и проводимо толико времена само гледајући производе вештачке интелигенције и говорећи: „Да ли раде?“
Чини се да недостаје многим разговорима о вештачкој интелигенцији каква је данас. Постоји бескрајан разговор о томе шта би то могло да уради, колико би могло бити опасно. А онда пробушите и кажете: „Да ли заиста ради оно што би данас требало да уради?“ У неким случајевима, одговор је да. Али у многим, многим случајевима, одговор је не.
То се чини као да је повезано са културом узбуђења коју описујете, као и са осећајем да, па, ако кажете да ће нешто учинити, а неће, а неко се осећа лоше, то је у реду јер смо на следећој ствари. То је прошлост. А посебно у АИ, Сем је тако добар у давању великих обећања.
Управо ове недеље, мислим да је истог дана када је ваша прича објављена, ОпенАИ објавио документ о политици у којем се каже да морамо поново да размислимо о друштвеном уговору и да имамо стипендије за ефикасност вештачке интелигенције од владе. Ово је велико обећање о томе како нека технологија може обликовати будућност света и начин на који живимо, а све се то ослања на технологију која ради тачно на начин на који је можда обећана да ће радити или би требало да функционише.
Да ли сте икада открили да Сам сумња да се АИ претвара у АГИ или суперинтелигенцију или да стиже до циља? Јер то је оно чему се највише питам. Има ли размишљања о томе да ли ова основна технологија може да уради све оно што кажу да може?
То је управо прави скуп питања. Постоје кредибилни технолози са којима смо разговарали у овом телу извештаја — и очигледно Сам Алтман није један од њих; он је пословна особа - која каже да је начин на који Сам говори о временској линији за ову технологију баш далеко. Постоје постови на блогу који сежу уназад неколико година у којима Сем каже: "Већ смо достигли хоризонт догађаја. АГИ је у суштини ту. Суперинтелигенција је иза угла. Бићемо на другим планетама. Лечићемо све облике рака." Заиста, не улепшавам.
Онај рак је заправо интересантан, да Сем навија за особу која је теоретски излечила рак свог пса са ЦхатГПТ-ом, а то се једноставно није догодило. Разговарали су са ЦхатГПТ-ом и то им је помогло да усмере неке истраживаче који су заиста урадили посао, али један на један, овај алат који је излечио овог пса заправо није прича.
Драго ми је да сте покренули ту тачку јер желим да пређем на ову већу тачку о томе када ће и потенцијал и ризик технологије заиста бити прикривени. Али вреди поменути ове мале по страни које се стално дешавају од Сема Алтмана, где се чини да изнова отелотворује ову особину.
Мислим, да употребим пример извештаја ВилмерХејла, где смо имали ове информације које су биле сачуване од писања, и желели смо да знамо да ли је усмени поднесак успут дат неком другом осим двојици чланова одбора којима је Сем помогао да се инсталирају да би га надгледали. А он је рекао: "Да, да, не, верујем да је то дато свима који су се касније придружили одбору." А имамо особу која директно познаје ситуацију и каже да је то једноставно лаж. И изгледа да је то заиста тако, да је неистина. Ако желимо да будемо великодушни, можда је био погрешно информисан.
Има много ових успутних уверавања. И користим тај пример делимично зато што је то сјајан пример лажирања, да га назовемо, који може имати стварне последице по закону. Не морам да вам кажем, према корпоративном закону Делавера, ако ова компанија изврши ИПО, акционари могу, према члану 220, да се жале на ово и захтевају основну документацију. Већ постоје чланови одбора који говоре ствари попут: „Па, чекај мало, тај брифинг је требало да се деси.“
Дакле, ове ствари за које се чини да му стално искачу из уста, могу имати стварне ефекте покретања тржишта, стварне ефекте за ОпенАИ. Враћајући га на ону врсту утопијског хипе језика који се поново појавио, мислим да није случајно на дан када је овај комад изашао, већ утиче и на све нас, јер су опасности тако акутне у односу на начин на који јекада се користи у оружју, начин на који се користи за идентификацију хемијских ратних агенаса, потенцијал дезинформација и због начина на који изгледа да утопијска помпа подстиче многе кредибилне економисте да кажу: „Ово има све знаке балона“.
Чак је и Сам Алтман рекао: „Неко ће овде изгубити много новца. То би заиста могло да угрози велики амерички и глобални економски раст, ако дође до истинског пробијања балона који укључује све ове компаније које склапају договоре једна са другом, улажући алл-ин на АИ док се толико задужују. Дакле, оно што Сам Алтман каже је важно, и мислим да је превласт људи око њега, поменули сте да смо разговарали са више од стотину, заправо била много више од сто. Имали смо разговор на циљној линији где је то било: „Да ли би било превише ситно рећи да је ово много већи број?“ А ми смо били као: "Да, хајде да умањимо значај. Играћемо кул." Али било је толико људи и тако значајна већина њих је рекла: „Ово је забрињавајуће. И мислим да је све због тога.
Да вас питам за тај број. Као што сте споменули, како је време пролазило, људи су постајали све отворенији према забринутостима. Осећа се као да је притисак око балона — трка за победу, да се исплати сва ова инвестиција, да се изађе као победник, до ИПО — променио много ставова. То је свакако створило већи притисак на Сама и ОпенАИ.
Ове недеље смо објавили причу само о вибрацијама ОпенАИ-а. Ваша прича је део тога, али огромне кадровске промене у извршним чиновима у ОпенАИ-у — људи долазе и одлазе. Сви истраживачи су кренули, углавном у Антропик, што мислим да је заиста занимљиво. Можете само да видите да ова компанија осећа притисак и на неки начин реагује на тај притисак.
Али онда се сетим да је Сам добио отказ. Ово ми је само за памћење. Нико други то није за памћење, али позвао сам извор у Зоолошком врту у Бронксу у 19 часова у петак, и неко је рекао да ће покушати да поврате Сема. А онда смо провели викенд јурећи ту причу. А ја сам само рекао: "Ја сам у зоолошком врту. Шта желиш да радим овде?" А одговор је био: "Остани на телефону." Па, моја ћерка је рекла: „Скидај се са телефона. И то сам урадио.
Било је возити или умријети да се Сам врати. Та компанија је била као: „Не, не дозвољавамо одбору да отпусти Сема Алтмана. Инвеститори, цитирани су у вашем тексту, „Отишли смо у рат“, мислим, позиција је Тхриве Цапитала, „да вратимо Сема“. Мајкрософт је кренуо у рат да врати Сема. Касније је, а сада сви кажу: "Идемо на ИПО. Стигли смо до циља. Вратили смо нашег момка и он ће нас одвести до циља. Бринемо се да је лажов."
Зашто је тада био рат да га се врати? Јер изгледа да се ништа није променило. Говорите о белешкама које су Иља Сутскевер и [извршни директор Антропика] Дарио Амодеј водили док су били савременици Сема Алтмана. Иљина брига број један била је да је Сем лажов.
Ништа од тога се није променило. Зашто је онда био рат да га се врати? А сада када смо на циљној линији, чини се да су све бриге на видело.
Па, пре свега, извините вашу ћерку и мог партнера и све остале људе око новинара.
[Смех] Био је то прави викенд за све.
Да, преузима нечији живот, а ова прича дефинитивно има мој, током последњег временског периода. То се заправо односи на ову тему новинарства и приступа информацијама, мислим. Инвеститори који су кренули у рат за Сема и сви су играли улогу у осигуравању његовог повратка, а одбор који је био посебно дизајниран да заштити мисију непрофитне организације да стави сигурност испред раста и да отпусти извршну власт ако им се то не може повјерити, отишли су. То је било све зато што су, да, тржишни подстицаји постојали, зар не?
Сем је успео да убеди људе: „Па, компанија ће се једноставно распасти. Али разлог зашто је имао подршку био је недостатак информација. Ти инвеститори, у многим случајевима, сада кажу: „Гледам уназад и мислим да је требало да имам више брига да сам у потпуности знао шта су потраживања и шта је забринутост.”
Не сви;мишљења се разликују, а ми цитирамо низ мишљења, али има значајних који су деловали на основу врло делимичних информација. Табла која је отпустила Сема била је, према речима једне особе која је некада била у одбору, „веома ЈВ“, и они су снажно петљали по лопти. И ми документујемо основне притужбе и људи могу сами да одлуче да ли се то акумулира у врсту хитне забринутости коју су сматрали да јесте, али тај аргумент и те информације нису изнети.
Добили су оно што неки од њих сада признају као лош правни савет. Да бисте га описали, запамтићете цитат, а вероватно ће многи ваши слушаоци и гледаоци запамтити цитат као недостатак искрености. То је било на шта се свело, а онда у суштини нису хтели да примају позиве.
Не би примали позиве. Сигуран сам да сте покушали. Сви које познајем су покушали, и дошло је до тачке у којој, као новинар, не би требало да дајеш савете својим изворима, али ја сам рекао: „Ово ће нестати ако не почнеш да објашњаваш сам себе.“
И то се догодило. Заборавите новинаре. Имали сте Сатију Наделу да каже: "Шта се дођавола догодило? Не могу никога натерати да ми објасни." И то је главни финансијски потпорник компаније. А онда имате Сатију која зове [суоснивача ЛинкедИн-а] Реида Хоффмана, а Реид зове около и говори: „Не знам шта се јеботе догодило.
Разумљиво је да су у тој празнини информација, тражећи традиционалне индикаторе који нису АИ који би оправдали тако хитно, изненадно пуцање. Као, у реду, да ли су то били сексуални злочини? Да ли је то била проневера? И цео суптилан, али мислим смислен, аргумент да је ова технологија другачија и да би ова врста сталне акумулације мањих издаја могла имати значајне улоге и за овај посао, а можда и за свет, у великој мери је изгубљен. Тако су победили капиталистички подстицаји, али и људи који су то стварали су изашли и нису увек пословали са потпуним информацијама.
Желим само на тренутак да питам о аспекту „шта су сви мислили да јесте“, јер сам сигурно видео вести и рекао сам: „Ох, мора да се десило нешто лоше.“ Направили сте много #МеТоо извештавања, славно. Разбио си причу о Харвију Вајнштајну.
Провели сте доста времена извештавајући о овим тврдњама за које сматрам да су на крају неосноване: да је Алтман сексуално напао малолетне особе или ангажовао сексуалне раднике, или чак убио ОпенАИ узбуњивача. Мислим, ви сте особа која ово може најригорозније пријавити. Да ли сте одлучили да није ништа?
Па, види, ја се не бавим тиме да кажем да је нешто пропало. Оно што могу да кажем је да сам провео месеце гледајући ове тврдње и нисам нашао потврду за њих. И било ми је упечатљиво да ови момци, ове компаније које имају толико моћи над нашом будућношћу, заиста троше несразмерно много свог времена и ресурса у детињастој борби против блата.
Један извршни директор га описује као „шекспировског“. Количина новца приватних истражитеља и досијеа опозиције који се састављају су немилосрдни. А несрећна ствар је да је врста сабласних ствари, коју Семови конкуренти понављају, само претпостављена чињеница, зар не? Постоји ова тврдња да он прогања малолетне дечаке, а на многим коктел забавама у Силицијумској долини, чујете ово. У кругу конференције, чуо сам да су то управо понављали кредибилни, истакнути руководиоци: „Сви знају да је ово чињеница.“
Тужна ствар је што говорим о томе одакле ово долази, разним векторима којима се преноси. Илон Муск и његови сарадници наизглед гурају заиста тврдокорне досијее који су безвезе. Они су испарени када заправо почнете да гледате основне тврдње. Тужна ствар је што то заиста замагљује критике које су овде више засноване на доказима за које мислим да заиста заслужују хитан надзор и разматрање.
Друга тема која се заиста појављује у причи је скоро осећај страха да Сем има толико пријатеља — он је инвестирао у толико компанија од своје претходне улоге генералног директора И Цомбинатора, само до свог личног улагања, од којих су неке у директном сукобу са његовом улогом извршног директора ОпенАИ — и око њега влада тишина.
Пало ми је на памет док сам читао један ред посебно. Описујете белешке Иље Сутскевера, а они су управо у Силицијумској долини. Свиназива их Иљиним меморандумима. Али око тога је чак и тишина. Они су прослеђени, али се о њима не разговара. Шта мислите одакле то долази? Да ли је то страх? Да ли је то жеља за улагањем анђела? Одакле то долази?
Мислим да је то много кукавичлука, бићу искрен. Пошто су извештавали о причама о националној безбедности у којима су извори узбуњивачи који ће изгубити све и суочити се са кривичним гоњењем, они и даље раде праву ствар и говоре о стварима како би створили одговорност. Радио сам на причама у вези са сексуалним злочинима које сте споменули, где су извори дубоко трауматизовани и плаше се врло личне врсте одмазде.
У многим случајевима око овог ритма имате посла са људима са сопственим профилом и моћи. Они су или сами познати људи или су окружени познатим људима. Имају снажан пословни живот. По мом мишљењу, за њих је заправо врло мала изложеност да причају о овим стварима. И срећом, игла се креће као што смо раније говорили, а људи сада више причају.
Али тако дуго времена људи су заиста само ћутали о томе јер мислим да је култура Силицијумске долине тако немилосрдно себична и немилосрдно оријентисана на пословање и раст. Тако да мислим да ово погађа чак и неке од људи који су учествовали у отпуштању Сема, где сте видели данима после, да, један фактор који је довео до његовог повратка и отпуштања старих чланова одбора био је то што је окупио инвеститоре који су били збуњени његовим циљем.
Али друго је да су се многи други људи око њега који су имали забринутости и хитно их изразили само пресавијали као салвете и променили мелодију у тренутку када су видели да ветар дува на другу страну, и желели су да уђу у воз профита.
Прилично је мрачно, искрено, са мог становишта као репортера.
Неки од тих људи су Мира Мурати, која је, верујем, 20 минута била нови извршни директор ОпенАИ. Тада је замењена. Била је то веома компликована динамика, и очигледно, Сем се вратио. Друга особа је Иља Сутскевер, који је био један од гласова за уклањање Сема, а онда се предомислио, или барем рекао да се предомислио, а онда је отишао да покрене сопствену компанију. Знате ли шта га је навело да се предомисли? Да ли је то био само новац?
Па, и да буде јасно, не издвајам то двоје. Има и других чланова одбора који су учествовали у отпуштању који су такође веома ућутали. Мислим да је то као шири колективни проблем. То су, у неким случајевима, људи који су имали моралну снагу да узбуне и предузму радикалне мере, и то је за сваку похвалу. И тако осигуравате одговорност. То је могло помоћи многим људима који су погођени овом технологијом. То је могло помоћи индустрији да остане значајније фокусирана на безбедност.
Али ако имате посла са узбуњивачима и људима који се труде да доста подстакну ту одговорност, такође видите да је потребна воља да то истакнете и останете при својим убеђењима. А ова индустрија је заиста пуна људи који једноставно не стоје иза својих убеђења.
Иако мисле да граде дигиталног Бога који ће некако или елиминисати сав рад или створити још радне снаге, или ће се нешто догодити.
Па, у томе је ствар. Дакле, култура да не стојите при својим убеђењима и да све етичке бриге падају по страни у тренутку када дође до врућине или било чега што би могло да угрози ваш сопствени положај у послу је можда у извесној мери добро и добро за компаније које раде као и обично које праве било коју врсту виџета.
Али то су такође исти људи који кажу: „Ово би нас буквално све могло убити. И опет, не морате ићи у крајност Терминатор Скинет-а. Постоји низ ризика који се већ материјализују. Стварно је, и у праву су што упозоравају на то, али би требало да неко други из фотеље психологизира како те две ствари могу да живе у истим људима где звуку хитна упозорења, можда убацују прст и покушавају нешто да ураде, а онда се само склопе и ућуте.
Управо због тога можете имати овакве примере да се ствари не пишу и ствари гурну под тепих, а да нико о томе не говори отворено годинама након тога.
Природна, одговорна страна овде не би били извршни директори ових компанија; то би биле владе. У Сједињеним Државама, мождато су државне владе, можда је то савезна влада.
Свакако, све ове компаније желе да буду глобалне. Овде има много глобалних импликација. Гледао сам како ОпенАИ, Гоогле и Антхропиц подстичу Бајденову администрацију да изда извршну наредбу АИ. На крају је било прилично безубо. Само је речено да морају да разговарају о томе за шта су њихови модели способни и да објаве нека безбедносна тестирања. А онда су сви подржали Трампа, а Трамп је ушао и све то избрисао и рекао: "Морамо да будемо конкурентни. То је бесплатно за све. Само напред."
Истовремено, сви они покушавају да прикупе средства из блискоисточних земаља које имају много новца од нафте и желе да промене своје економије. То су политичари. Осећам да политичари дефинитивно треба да схвате да неко прича на обе стране, и неће бити превише узнемирени ако је неко на крају разочаран, али и политичари се такође провозају. Зашто мислиш да је тако?
Мислим да је ово заиста разлог зашто је комад по мом мишљењу важан и зашто је вредело потрошити све ово време и детаље. Налазимо се у окружењу у којем су системи који би, како кажете, требало да обезбеде надзор, само издубљени. То је Сједињене Америчке Државе, где је ток новца тако неометан, и то је посебна концентрација тог проблема око вештачке интелигенције, где постоје ови ПАЦ-ови који се размножавају и преплављују новац у укидање смислених прописа и на државном и на савезном нивоу.
Имате [суоснивача ОпенАИ] Грега Броцкмана, Семовог другог команданта, који директно доприноси неколико њих. То доводи до ситуације у којој заиста долази до заробљавања законодаваца и потенцијалних регулатора, из које је тешко изаћи. Тужна ствар је што мислим да постоје једноставни политички потези, од којих се неки тестирају и другде у свету, који би помогли у решавању неких од ових проблема одговорности.
Могли бисте имати више обавезног тестирања безбедности пре постављања, што је нешто што се већ дешава у Европи за граничне моделе. Могли бисте да имате строжије писане захтеве за јавну евиденцију за врсте интерних истрага где смо видели да се ствари у овом случају не пишу. Могли бисте имати робуснији скуп механизама за ревизију националне безбедности за врсте блискоисточних инфраструктурних амбиција које је Сам Алтман форсирао.
Као што кажете, он је радио овај мамац и мењао се са Бајденовом администрацијом, говорећи: „Управљајте нас, регулишите нас“, и помагао им да направе извршну наредбу, а онда у тренутку када Трамп уђе, заиста у првим данима, једноставно без ограничења, „Хајде да убрзамо и хајде да изградимо масивни кампус дата центра у Абу Дхаби“. Могли бисте, ово је заиста једноставно, попут заштите узбуњивача. Не постоји савезни статут који штити запослене у компанији са вештачком интелигенцијом који откривају ове врсте безбедносних забринутости које се емитују у овом делу.
Имамо случајеве где је Јан Леике, који је био виши човек за безбедност у ОпенАИ-у, водио супер усклађивање у компанији. Он пише одбору, у суштини материјал за узбуњивање, рекавши да компанија излази из шина у својој безбедносној мисији. То су људи који заправо треба да имају надзорно тело коме могу да се обрате, и требало би да имају експлицитну законску заштиту какву видимо у другим секторима. Ово је једноставно реплицирати режим у стилу Сарбанес-Оклеи-а.
Мислим да упркос томе колико је акутан проблем Силицијумске долине која преузима контролу над свим полугама моћи, и упркос томе колико су неке од ових институција које би могле да обезбеде надзор и заштитне ограде издубљене, ја и даље верујем у основну математику демократије и политичара који су себични. И све је више података из анкета које се појављују да већина Американаца мисли да забринутости, питања или ризици од АИ тренутно надмашују користи.
Тако да мислим да је поплава новца у политику од АИ у нашој моћи да то учинимо извором знака питања у односу на политичаре. Када Американци оду да гласају, требало би да испитају да ли су људи за које гласају, посебно ако су некритични и ако се противе регулативи, с обзиром на све ове бриге, финансирају велики технолошки специјални интереси. Тако да мислим да ако људи могу да читају овакве комаде, слушају овакве подкастове и довољно брину да о њима критички размишљајусвојим одлукама као гласачима, постоји права прилика да се у Вашингтону створи изборна јединица представника који држе на оку и намећу надзор.
То би могла бити једна од најоптимистичнијих ствари које сам икада чуо да неко каже о тренутној индустрији вештачке интелигенције. Ценим то. Опседнут сам анкетама о којима говорите. Сада има много тога. Све је прилично доследно и изгледа да што су млади људи више изложени вештачкој интелигенцији, то су више неповерљиви и љути због тога. То је валенција свих анкета. И гледам на то, и мислим, па, да, паметни политичари би се једноставно супротставили томе. Они би само рекли: "Ми ћемо велику технологију сматрати одговорном."
Онда размишљам о протеклих 20 година, политичару који каже да ће велику технологију сматрати одговорном, а ја се борим да пронађем чак и један тренутак када се велика технологија сматра одговорном. Једина ствар због које мислим да би ово могло бити другачије је, па, заправо морате да изградите центре података, и можете гласати против тога, можете поднети петицију против тога и можете протестовати против тога.
Мислим да постоји политичар на кога су управо пуцали у кућу јер су гласали за центар података. Напетост достиже, ја бих то назвао, грозницу. Описали сте оточност Силицијумске долине. Ово је затворени екосистем. Чини се као да мисле да могу да управљају светом. Улажу гомилу новца у политику и суочавају се са реалношћу да људи не воле производе, што им не даје много покрића. Што више користе производе, то су више узнемирени, а политичари почињу да увиђају да постоје стварне последице подршке технолошкој индустрији у односу на људе које представљају.
Разговарали сте са толико људи. Да ли мислите да је могуће да технолошка индустрија научи лекцију која је пред њима?
Кажете да се осећа као да мисле да могу да управљају светом без одговорности. Чак ни не мислим да је за то потребан квалификатор „осећај као“. Мислим, ако погледате језик који користи Петер Тхиел, он је експлицитан. Наравно, то је екстреман пример. А Сем Алтман, иако је у извесној мери близак и упућен у Тилову идеологију, веома је другачија врста особе која би могла звучати другачије и одмереније до одређене тачке.
Али мислим да је шира идеологија коју добијате од Тхиела, а која је у основи: завршили смо са демократијом, више нам није потребна. Имамо толико тога да само желимо да изградимо сопствене мале бункере. Више немамо посла са Карнегијевима или Рокфелерима, где су они лоши момци, али осећају да треба да учествују у друштвеном уговору и граде ствари за људе. Постоји прави нихилизам који је постављен.
И заиста мислим да је то била спирала која се узајамно појачава у новијој америчкој историји у којој могули и приватне компаније стичу супервладину моћ, док су демократске институције које би их могле сматрати одговорним издубљене. Не осећам се оптимистично у вези са идејом да би се ти момци могли једноставно пробудити једног дана и помислити: „Ха, заправо можда треба да учествујемо у друштву и помогнемо да се граде ствари за људе.
Мислим, гледате на микрокосмички пример Тхе Гивинг Пледге, где је постојао тренутак када је изгледало да је добротворно, а тај тренутак је сада прошао, па чак и исмејан. То је проблем, шири проблем недостатка одговорности за који мислим да се може решити само споља. То морају бити бирачи који мобилишу и оживљавају моћ владиног надзора. И потпуно сте у праву када кажете да је главни вектор кроз који би људи то могли постићи локални. То се односи на то где се гради инфраструктура.
Поменули сте неке од усијаних тензија око овога које воде до насиља и претњи, и очигледно, нико не би требало да буде насилан или да прети. И такође нисам овде да дајем конкретне препоруке за политику, осим да само представим неке од корака политике који се чине основним и који функционишу другде у свету, зар не? Или они који су радили у другим секторима. Нисам овде да говорим шта од њих треба да се изврши и како.
Мислим да нешто треба да се деси, и то мора да буде екстерно, а не само поверење овим компанијама. Јер тачносада имамо ситуацију у којој компаније које развијају технологију и које су најбоље опремљене да разумеју ризике, а заправо су оне које нас упозоравају на ризике, такође немају ништа осим подстицаја да иду брзо и игноришу те ризике. И једноставно немате чиме да то уравнотежите. Дакле, које год реформе могле да подузму у смислу специфичности, нешто мора да се суочи са тим. И још увек се враћам том оптимизму да су људи и даље важни.
Генерално прихватам твој аргумент. Дозволите ми да дам само један мали контрааргумент за који мислим да могу да артикулишем. Друга ствар која би се могла десити ван гласачке кутије је да балон искочи, зар не? Да све ове компаније не стигну до циља и да не постоји тржиште производа погодно за апликације АИ за потрошаче. И опет, још увек то не видим сасвим, али ја сам рецензент потрошачке технологије и можда једноставно имам више стандарде од свих осталих.
У пословном свету постоји тржиште производа, зар не? Чини се да је гомила АИ агената написано гомилу софтвера право тржиште за ове алате. И можете прочитати аргументе ових компанија које говоре: "Решили смо кодирање, а то значи да можемо решити било шта. Ако можемо да направимо софтвер, можемо да решимо све проблеме."
Мислим да постоје стварна ограничења за ствари које софтвер може да уради. То је сјајно у пословном свету. Софтвер не може да реши сваки проблем у стварности, али мора да стигне тамо. Морају да заврше посао, а можда неће сви стићи до циља. И дође до слома, и овај балон пукне, и можда ОпенАИ или Антхропиц или кАИ, једна од ових компанија пропадне и сва ова инвестиција нестане.
Мислите ли да би то утицало на ово? У ствари, дозволите ми да прво поставим прво питање. ОпенАИ је на самом прагу ИПО-а. Много је недоумица око Сама као вође. Мислите ли да ће стићи до циља?
Нећу да прогнозирам, али мислим да истичете важну тачку, а то је да су тржишни подстицаји интерно важни за Силиконску долину, а несигурност тренутне динамике балона заиста може да прекине, опет, потенцијално, према критичари, трку ка дну у погледу безбедности.
Такође бих додао на то, ако погледате историјску предност у којој постоји сличан и наизглед непробојан скуп тржишних подстицаја и потенцијално штетних ефеката за јавност, постоји судски спор о утицају. И ви то видите као област забринутости у последње време. Сем Алтман је ове недеље тамо и подржава закон који би заштитио компаније са вештачком интелигенцијом од неких врста одговорности којима је ОпенАИ био изложен у кривичним тужбама за смрт, на пример. Наравно, постоји жеља да се тај штит заштити од одговорности.
Мислим да судови и даље могу бити значајан механизам, и биће заиста занимљиво видети како се ова одела обликују. Већ сте видели, на пример, групну тужбу, чији смо чланови и ја и многи, многи други аутори за које знам, против Антропика због њиховог коришћења књига које су биле под ауторским правима. Ако постоје паметни правни умови и тужиоци којима је стало, као што смо историјски видели у случајевима од великог дувана до велике енергије, такође можете добити неке заштитне ограде и неке подстицаје да успорите, будете опрезни или заштитите људе на тај начин.
Чини се да цела структура трошкова индустрије вештачке интелигенције зависи од веома, веома добротворног тумачења поштеног коришћења. Не појављује се довољно. Структура трошкова ових компанија могла би да измакне контроли ако морају да плате вама и свима осталима чији су посао преузели, али о томе је незгодно размишљати, тако да једноставно не размишљамо о томе. Одмах поред тога, сви ови производи сада раде са губитком. Као и данас, сви су у губитку. Они троше више новца него што могу да зараде. У неком тренутку морају да окрену прекидач.
Сем је бизнисмен. Као што сте споменули неколико пута, он није технолог. Он је пословна особа. Мислите ли да је спреман да окрене прекидач и каже: „Зарадићемо долар?“ Јер када питам: „Да ли мислите да ће ОпенАИ успети?“ То је када морају да зараде долар. И до сада је Сем зарадио све своје доларе тражећи новац од других људи уместо да његове компаније зарађују.
Па, то је велико дуготрајно питање за Силицијумску долину, за инвеститоре, за јавност.Видите неке изјаве и потезе из ОпенАИ-а који изгледа да изазивају неку врсту панике око тога. Гашење Соре, гашење неких помоћних пројеката, покушај да се усредсредимо на основни производ. Али, с друге стране, још увек видите, у исто време, тоне лабаве мисије, зар не? Чак и мали пример - то очигледно није суштина њиховог пословања - је аквизиција ТБПН-а.
Иначе, управо када смо стигли на циљ и проверавали чињенице, компанија која се суочава са оваквом новинарском провером стиче платформу на којој могу имати директнију контролу над разговором. Мислим да има много инвеститора који су забринути, на основу разговора које сам водио, да се овај проблем обећања свих ствари свим људима протеже и на недостатак фокуса у основном пословном моделу. И мислим, ви сте ближи врсти предвиђања и посматрања тржишта него што сам ја вероватно. Оставићу вас и слушаоце да сами процените да ли мисле да ОпенАИ може да окрене прекидач.
Па, поставио сам питање јер у тексту имате цитат високог извршног директора Мајкрософта, а то је да би „Самово наслеђе могло бити сличније Бернију Медофу или Сему Банкману-Фриду“, а не Стиву Џобсу. То је право поређење. Шта сте рекли о том поређењу?
Мислим да је то парафраза. Део Стива Џобса није био део цитата. Али постоји занимљива врста трезвености у томе јер је формулисана као: „Мислим да постоји мала, али стварна шанса да на крају буде СБФ или преварант на нивоу Мадоффа“. По мом мишљењу, то не значи да је Сем оптужен за те специфичне врсте преваре или злочина, већ да степен прикривања и обмане од Сама може имати шансе да на крају буде запамћен у тој скали.
Да, мислим да је оно што је најупечатљивије у вези са тим цитатом, искрено, то што назовете Мицрософт и не добијете лајк: "То је лудо. Никад то нисмо чули." Често добијате као: „Да, многи људи овде то мисле“, што је невероватно. И мислим да се то односи на ова пословна питања.
Један инвеститор ми је рекао, на пример, у светлу начина на који је ова особина опстала у годинама након отпуштања“ — и ово је такође мислило да је ово занимљива трезвена мисао — да није нужно да Сем треба да буде на апсолутном дну листе, као да би требало да буде најнижи од ниских у смислу људи који апсолутно не смеју да граде ову технологију, за шта је Муск рекао да је та особа која је вредна. особина га ставља можда на дно листе људи који би требало да граде АГИ, и испод неколико других водећих личности у овој области.
Тако да сам мислио да је то занимљива процена, и такво размишљање мислим да имате од правих прагматичара који се можда не упуштају толико у бриге о безбедности. Они су само оријентисани на раст и мисле да ОпенАИ сада има проблем са Семом Алтманом.
Мицрософтов део је заиста занимљив. Та компанија је мислила да су на врху света. Да су направили ову инвестицију и да ће прескочити све, посебно и најважније, Гоогле, и вратити се у доброту потрошача. Ниво до којег се осећају спаљени овом авантуром - ово је компанија која се води веома трезвено - мислим да се не може преценити.
Поменули сте карактере и особине личности. Овде желим да завршим питањем наших слушалаца. Рекао сам у нашој другој емисији, Тхе Вергецаст, да ћу разговарати са вама, и рекао сам: „Ако имате питања за Ронана о овој причи, јавите ми. Дакле, овде имамо једну за коју мислим да је уредно повезана са оним што описујете. Само ћу да вам прочитам:
„Како се оправдања за лоше понашање, гломазне поступке Алтмана и других лидера вештачке интелигенције, разликују од оправдања које је Ронан чуо од других високих лидера у политици и медијима? Зар сви они не оправдавају своје поступке говорећи да се тако свет мења? Ако ја то не урадим, неко други ће?"
Да, има много тога около. Рекао бих да је оно што је карактеристично за АИ то што су егзистенцијални улози тако јединствено високи значи да су обе изјаве о ризику екстремне, зар не? Имате Сама Алтманаговорећи: „Ово би могло бити угашено светло за све нас. А такође, критичари би могли рећи, манија на коју поставља питање је екстремна, зар не?
Оно за шта је Сем оптужио Елона у записнику је да можда жели да спасе човечанство, али само ако је то он. Компонента ега у жељи за победом, што је оквир који Сем користи све време, и да је ово за уџбенике историје, ово би могло променити све. Стога, чак и изнад и мимо начина размишљања „мораш да разбијеш неколико јаја“ већине предузећа у Силицијумској долини, у главама неких личности које воде вештачку интелигенцију, мислим да постоји потпуна рационализација за све последице.
И заборави разбијање јаја. Мислим да би многи истраживачи безбедности рекли потенцијално ризиковање разбијања земље, сламања света и разбијања милиона људи чији су послови и безбедност виси у равнотежи – то је оно што је јединствено у вези са тим. Ту завршавам, размишљајући о овом корпусу извештаја, заиста верујући да је ово нешто више од Сама Алтмана. Овде се ради о индустрији која је неограничена и растућем проблему који Америка није у стању да је ограничи.
Да. Па, имали смо мало оптимизма, али мислим да је то добро место да то оставимо.
[Смеје се] Завршите на слабији.
наравно. То је свака сјајна прича, заиста. Предстоји суђење Муск-Алтману. Мислим да ћемо овде научити много више. Претпостављам да ћу хтети поново да разговарам са вама. Ронан Фароу, хвала ти пуно што си на Декодеру.
Хвала.
Питања или коментари о овој епизоди? Јавите нам се на децодер@тхеверге.цом. Заиста читамо сваки емаил!
