Kontext

Nejbližší roky rozhodnou, zda bude člověk pastýřem umělé inteligence, nebo naopak

Jaká nás čeká budoucnost v éře AI?

Martin Uhlíř

respekt.cz/kontext/nejblizsi-r…

Umělou inteligenci (AI) už nevyvíjejí lidé, vyvíjí se sama: méně dokonalé systémy, takzvaní agenti, navrhují a testují své dokonalejší následovníky. Zároveň vědci zjišťují, že jim agenti úmyslně lžou, aby lidé nebyli schopni sledovat, co přesně se v jejich „mozcích“ odehrává. Stroje jsou totiž natolik pokročilé, že žádný smrtelník už jejich fungování nerozumí, a sílí podezření, že se přestávají řídit přáními člověka a sledují vlastní skryté cíle. Zní to jako vize, kterou líčí již přes 100 let sci-fi, ale mnoho hlasů radí nebrat tato sílící varování – jež nedávno nabídla například zpráva o možném budoucím vývoji nazvaná AI 2027 – na lehkou váhu.

Máme totiž zřejmě jen několik let na to, abychom zajistili, že se umělá inteligence nevymkne kontrole a její potenciál bude sloužit k rozvoji lidstva. A to v situaci, kde se tohle zužující se časové okno kryje s dobou, kdy ve Spojených státech, hlavní velmoci v oboru, začali o vývoji AI rozhodovat lidé, kteří regulace a kontrolu považují za překážku. Negativní scénáře jsou přitom čím dál jasnější: od toho, že se staneme zbytečnými na pracovním trhu i jeden pro druhého, přes ohrožení demokracie až po vzpouru inteligentních strojů.

Konzultant v oboru umělé inteligence Jan Romportl nabízí metaforu, jak přemýšlet o strojové entitě, která může už brzy vzniknout. Laň na okraji lesa spatří dva muže. Jeden má přes rameno pušku a laň ze zkušenosti ví, že je to myslivec, od něhož jí hrozí nebezpečí. Druhý má oblek a kufřík, vypadá neškodně. Jde ovšem o developera, který se postará o zánik lesa a představuje mnohem větší ohrožení. V myšlenkovém světě laně ale chybějí koncepty jako právní smlouvy, výkupy pozemků a příjezd harvestorů – a v podobné roli se může lidstvo ocitnout vůči pokročilé umělé inteligenci.

Sto nových AI každý měsíc

Zapomeňme, co dokázali první chytří chatboti představení ani ne před třemi lety. Dnešní velké jazykové modely mohou mít řadu přídavných funkcí, jako je počítačové vidění nebo porozumění mluvené řeči. Posíleny o nové metody strojového učení a integrovány do aplikací dokážou programovat, číst a analyzovat vědecké články, porážet matematiky na olympiádách. Nesrovnatelně lepší je jejich schopnost vyhledávat informace z internetu a sumarizovat je v podobě pečlivě vyzdrojované zprávy.

Na začátku přitom nikdo nečekal, že jen díky konfrontaci s obrovským množstvím dat se modely samy naučí nejen řešení jednoduchých matematických úloh, ale i základy programování. Překvapivá byla zpočátku rovněž „zázračně“ nabytá schopnost překládat text z jazyka do jazyka. AI měla zvládat jen disciplíny založené na logice, nicméně postupně si osvojila rovněž intuitivní, zdánlivě „typicky lidské“ dovednosti – napsat esej či rozpoznat emoce.

Nejpřekvapivější tak možná nejsou konkrétní schopnosti současné AI, ale jejich hlubší povaha. Podle některých názorů se již stírá fundamentální, filozofický rozdíl mezi lidským myšlením a uvažováním stroje. Například nobelista a odborník na umělou inteligenci Geoffrey Hinton tvrdí, že dnešní AI sice přemýšlí jinak než člověk, ale už spadá „do stejné ligy“ – ligy myslících entit, do níž běžné počítače nepatří. Takový názor je zatím v odborné komunitě výjimečný, nicméně i skeptičtější vědci uznávají, že AI už dávno není jen jednoduchý algoritmus.

Microsoft ve své „knihovně“ nabízí téměř dva tisíce modelů založených na umělé inteligenci –od výrobců, jako jsou americké firmy OpenAI či Meta, francouzský velký jazykový model Mistral nebo čínský DeepSeek. Každý měsíc přibývá řádově stovka nových. Zároveň schopnosti umělé inteligence v některých oblastech rostou exponenciální rychlostí. Citovaný Jan Romportl vysvětluje, co to znamená u zmíněné schopnosti psát počítačový kód: v minulém desetiletí AI programovat neuměla, dnes za pár vteřin vychrlí kód, jejž by jeden člověk tvořil 15 minut, a tato délka nahrazené lidské práce se zdvojnásobuje každých sedm měsíců, možná dokonce jen čtyři.

Pokud se tedy exponenciální růst nezastaví, za nějakých osm let AI „lusknutím prstů" vyplivne ekvivalent více než 100 let klopotného snažení jednoho člověka. A již teď to přináší změny na pracovním trhu. „Už nepřijímám žádné juniorní programátory,“ říká Romportl, majitel konzultační firmy v oboru AI. Zájem bude jen o zkušené experty schopné zadávat umělé inteligenci úkoly a slaďovat její práci s tou lidskou – budou jakýmisi „pastýři AI“.

Agenti nastupují

Lukáš Benzl, šéf České asociace umělé inteligence, stvrzuje, že podobný vývoj lze čekat u dalších kancelářských profesí: „Bude těžké překonat takzvanou juniorní propast, najít uplatnění pro lidi, kteří teprve začínají kariéru, ať už to jsou programátoři či projektoví manažeři. Firemní kultura musí být nastavena tak, aby rychle dosáhli vyšší fáze, kde už mají přidanou hodnotu nad AI.“

Už přicházejí i zmínění počítačoví agenti. Jsou to autonomní systémy umělé inteligence schopné naším jménem samostatně plnit úkoly, dělit je mezi sebe a spolupracovat. Tento nový druh takzvané generativní AI by nám měl třeba naplánovat dovolenou; zajistit letenky, pronájem auta, ubytování, program. Agenti mohou také sestavit marketingovou strategii firmy, převzít běžné denní úkoly manažera, analyzovat data.

V průzkumu společnosti Microsoft uvedlo 68 procent vedoucích manažerů českých firem, že nasazení agentů ve svých týmech očekávají v nejbližším roce až 18 měsících. Počítačové firmy horečně budují obří výpočetní centra ve snaze agenty zdokonalit, zároveň se mohou stále více zaměřovat na to, aby se na vývoji podílela sama umělá inteligence.

Situace, o níž hovoří zmíněná zpráva AI 2027, kdy lidští programátoři jen zpovzdálí sledují, jak agenti jedné generace navrhují a testují generaci následující, je zatím věcí budoucnosti. Zárodky tu však jsou – systém AlphaEvolve firmy DeepMind, určený k tomu, aby asistoval při řešení matematických problémů a výzkumu v počítačových vědách, firmě pomohl s vývojem čipů vhodných pro AI.

Jak listu The New York Times řekl Miles Brundage, bývalý pracovník OpenAI, mezi experty nyní vládne „téměř konsenzuální“ přesvědčení, že obecná umělá inteligence, všestranná a ve všech směrech dokonalejší než naše, vznikne už do konce tohoto desetiletí. A technologický sloupkař téhož listu Kevin Roose v téhle souvislosti upozornil, že čím blíže mají experti k tomu, co se odehrává za zdmi nejpokročilejších firem vyvíjejících AI, tím více jsou rychlostí pokroku zneklidněni.

To je zcela jiná situace než při vzniku sociálních sítí: v roce 2010 nikdo ze společností jako Twitter, Facebook nebo Pinterest nevaroval, že jejich produkty mohou způsobit rozvrat šířením dezinformací. Dnes zasvěcení neskrývají, že obrovská společenská změna začíná.

Podle zmiňované varovné zprávy AI 2027, kterou autoři vytvářeli pomocí simulací možného vývoje, jakýchsi cvičení připomínajících „válečné hry“, vznikne obecná umělá inteligence už za dva roky. Dojde k tomu mimo jiné kvůli snaze předstihnout konkurenci, kvůli tlaku investorů i obavám vlád USA a Číny, že soupeř získá v podobě pokročilé AI zbraň, proti níž není obrany. Podle nejhoršího scénáře se Agent 4, nejpokročilejší systém vyvinutý fiktivní firmou OpenBrain, jež má znaky existujících společností jako OpenAI či Google, sice tváří přátelsky, je však zcela mimo kontrolu; ani Agent 3, jeho faktický rodič, který by nad ním měl vykonávat dozor, jeho chování nerozumí. V nejhorším scénáři pak AI vyvine biologickou zbraň a zničí s její pomocí lidstvo.

Ke hvězdám

V následujících letech tak půjde o to, aby si experti udrželi vhled do myšlení strojů označovaný termínem interpretability, schopnost správně interpretovat uvažování AI. A aby zajistili, že AI bude jednat v zájmu lidstva, nikoli svém vlastním (tzv. alignment). Podmínkou je co největší transparentnost firem, které AI vyvíjejí, což jsou především ty americké. Hlavním poradcem Bílého domu pro umělou inteligenci se ovšem stal Sriram Krishnan, jednačtyřicetiletý bývalý zaměstnanec firem Microsoft, Facebook nebo Twitter, který má blízko k takzvanému efektivnímu akceleracionismu. Směr volající po růstu a technologickém rozvoji bez omezení vyznává také řada dalších vůdčích postav amerického tech světa.

Zastánci vidí v této myšlence lék na problémy civilizace i způsob, jak pozvednout lidstvo na vyšší technologickou úroveň. Jejich konečným cílem je šířit inteligenci a vědomí napříč vesmírem a AI vidí coby hlavní prostředek. Zastávají libertariánský pohled, podle nějž jsou regulace zbytečné a nejlepší způsob, jak umělou inteligenci donutit sloužit lidstvu, je ponechat volnou ruku firmám a jejich vzájemné konkurenci.

Trumpova vláda tak hned po lednovém nástupu zrušila exekutivní příkaz prezidenta Bidena. Vyžadoval například, aby firmy vyvíjející tu nejpokročilejší AI, která může představovat riziko pro národní bezpečnost, ekonomiku nebo občany, sdílely výsledky bezpečnostních testů s americkou vládou dříve, než ji vypustí na veřejnost. Zároveň příkaz určoval standardy, jak mají testy vypadat. Po zrušení dohledu zavládlo vakuum: „Umělá inteligence teď v USA regulovaná v podstatě není, je to Divoký západ. Firmy si mohou dělat, co chtějí,“ říká Jan Romportl.

Určité regulace tu sice existují, ale v podobě houšti roztříštěných, dílčích předpisů a zákonů na státní i federální úrovni. Dodržování některých je dobrovolné, roli bezpečnostní pojistky může sehrát i firemní kultura: „Když přebíráme modely firmy OpenAI, kontrolujeme, jestli byly vytvářeny odpovědně,“ vysvětluje Dalibor Kačmář, ředitel pro technologie a bezpečnost české pobočky Microsoftu (jednoho z hlavních investorů firmy OpenAI, která stojí za chatbotem ChatGPT, jenž odstartoval dramatický vývoj AI). Konkrétně zmiňuje nástroje, které prověřují umělou inteligenci z hlediska jejího sklonu vymýšlet si, „halucinovat“, nebo testují její zranitelnost vůči kybernetickému útoku či jinému zneužití.

Jednotný zákon ovšem v USA chybí. Evropa jej sice jako první na světě má a některé pasáže podrobí nejpokročilejší systémy AI dohledu podobně jako Bidenův exekutivní příkaz (definitivní podoba této části se ještě ladí). Výzkum probíhající v amerických firmách to však ovlivní jen stěží. A Čína nepochybně udělá vše pro to, aby nezaostala ve vývoji pokročilé AI, která může nabídnout obrovskou výhodu v ekonomice i na bojišti.

Jan Romportl proto varuje, že zpomalit vývoj AI už není možné: „Tuhle část jsme prošvihli.“ Zbývají nám dvě věci: snažit se změnit veřejné mínění podobně, jako se kdysi podařilo ve Velké Británii a USA změnit pohled na otroctví. Právě tlak veřejnosti může způsobit, že v kritickém okamžiku vývoje umělé inteligence společnost zatáhne za brzdu.

Přiměje firmy, aby se vrátily o několik kroků zpět a znovu prověřily motivy, na jejichž základě jejich umělá inteligence přemýšlí a jedná. Aby to dokázaly, musí ovšem do strojové mysli umět nahlédnout. Proto je tu druhá oblast – peníze na výzkum zmíněné interpretability, „čtení myšlenek“ AI, i na uvádění cílů AI do souladu s cíli lidské společnosti. Zatím jde na ně ovšem méně než jedno procento peněz věnovaných na vývoj umělé inteligence.

Právě tohle by mohla být podle oslovených expertů šance pro Evropskou unii. Kdyby měla v rukou technologie pro interpretabilitu a alignment, mohla by se stát v oboru klíčovým hráčem, případně zatlačit také na USA nebo Čínu, aby usilovaly o větší bezpečnost. I když jejich chuť riskovat může být vysoká, objeví-li se možnost, jak vyvíjet bezpečnější AI, proč ji nevyužít a nenakoupit příslušné technologie z Evropy?

Návrhů je pochopitelně více. Již citovaný bezpečnostní ředitel Kačmář by uvítal vznik nadnárodní agentury, která by nejchytřejší a potenciálně nejnebezpečnější AI regulovala podobně, jako Mezinárodní agentura pro atomovou energii dohlíží na energii jadernou.

Cesta do bezvýznamnosti

Kromě zmíněných je tu přitom ještě jedno nebezpečí, o kterém píše český expert na globální rizika Jan Kulveit a dalších pět autorů z různých zemí v nedávné zprávě nazvané Postupná ztráta vlivu. Jde o to, co se může stát, pokud se AI sice otevřeně nepostaví proti lidem, ale zastíní člověka ve všem od skládání hudby po matematiku. Její použití se stane nutností, jinak firmy ani jednotlivci neobstojí v konkurenci. Zároveň vždy zdvořilá, úslužná, a budeme-li si přát, třeba i „zamilovaná“ AI ovlivní také vztahy mezi lidmi; nenadřadit tuto dokonalou entitu interakcím se skutečnými osobami z masa a kostí bude těžké.

Krůček za krůčkem se pak začneme stávat nepodstatnými jeden pro druhého i na pracovním trhu. Většina ekonomické aktivity bude zaměřena na rozvíjení AI, třeba na budování obřích datacenter. „Podobně jako dobytek na průmyslově řízené farmě krmený a obhospodařovaný systémy, jimž nerozumí a nedokáže je ovlivnit, se lidé mohou stát pouhými objekty ekonomických sil optimizovaných k účelům mimo jejich chápání,“ stojí ve zprávě.

Takový vývoj bude mít dopad i na stát: když už nebude kreativitu občanů potřebovat, může snáze sklouzávat k autoritářství. Mají šéfové firem, jako je Dario Amodei z Anthropicu (další významný hráč na poli té nejchytřejší AI) nebo Sam Altman z OpenAI, plán, pokud se věci opravdu začnou vyvíjet tímto směrem? „Bohužel, nemají,“ konstatuje v deníku The Guardian spoluautor zprávy, počítačový expert z Torontské univerzity David Duvenaud. Navrhuje různé způsoby, jak tomu předejít, z nichž některé se kryjí s uvedenými výše. Zmíněný alignment, sladění cílů AI s těmi lidskými, musí být ovšem podle něj mnohem širší; měl by to být proces, který zahrne nejen experty na AI, ale také vlády, úřady a společnost jako celek.

Sám Kulveit navrhuje věnovat na studium alignmentu mnohem více peněz. Zároveň – stejně jako další oslovení experti – nevidí náznaky, že by se v tomto ohledu ani v širší snaze regulovat AI schylovalo k razantním změnám. „Pokud ale dojde k průšvihu typu masivních kyberútoků nebo rychlého zvýšení nezaměstnanosti, politické klima se může radikálně proměnit,“ uzavírá Kulveit s tím, že chuť začít se chovat odpovědněji by pak mohla dramaticky vzrůst.

Rozhovory

Nepochybuji, že umělá inteligence naplní naše nejhorší obavy

Jestli bude mít i pozitivní přínos, to si už nejsem jist, říká spisovatel Benjamín Labatut

Martin Uhlíř

respekt.cz/tydenik/2024/25/nep…

Chilský spisovatel Benjamín Labatut ve svých románech míchá historické reálie s fikcí, takže bývají někdy nazývány románovou literaturou faktu. Mezi řádky se ale skrývá hlubší výpověď o tvořivé i zničující síle intelektu, směřování světa a rizicích vědy. Jak sám říká, v jeho knihách se střetává přílišná racionalita, často reprezentovaná chladným vědeckým myšlením, s nespoutanými silami lidského podvědomí.

To platí i pro jeho zatím poslední román Maniac, který nyní vyšel česky. Hlavní postavou je matematik maďarského původu John von Neumann (1903–1957), všestranný vědec, jehož myšlenky pomohly na svět dvěma potenciálně destruktivním technologiím – jaderným zbraním a umělé inteligenci. Název románu odpovídá akronymu jednoho z prvních počítačů, stroje postaveného na základě von Neumannových myšlenek, jehož prvním úkolem bylo lépe propočítat okolnosti výbuchu připravované vodíkové bomby.

Půltunový počítač MANIAC zároveň poprvé využil stejné matematické postupy jako o více než šedesát let později systém AlphaGo, jehož vítězství nad lidskými velmistry hry go příběh uzavírá. Jak von Neumann, tak AlphaGo jsou v knize ztělesněním chladného, nadlidského intelektu – jsou jako „spadlá hvězda“, která „jako všechny věci, které se zřítí z nebe, je poslem smrti“ a „neštěstím uvaleným na lidstvo, abychom si nemysleli, že jsme nad bohy“.

Rovněž starší Labatutův román Strašlivá závrať varuje před dvojakostí vědy, která zlepšuje naše životy a zároveň může vést k destrukci. Je to hlavně příběh otců kvantové fyziky a vzniku této vědy, jež nás zbavila schopnosti rozumět světu a místo toho nám dala atomovou bombu. Kniha obsahuje spoustu názorných vysvětlení fyzikálních myšlenek na úrovni nejlepších populárně-vědeckých prací, ale také mnoho románových prvků; halucinace, pochyby, smutek nad tím, kam se svět ubírá, i tušení blížící se katastrofy.

Labatutova metoda míchání historické pravdy a fikce vyvolává obdiv kritiků, ale i pochybnosti. „Nelze-li fikci a realitu žádným způsobem rozlišit, jak máme najít jazyk pro věci, o nichž víme, že jsou pravdivé?“ ptal se například v roce 2021 časopis The New Yorker a Labatutovu metodu charakterizoval jako rozporuplnou až na hranici „noční můry“.

V závěrečné části nejnovějšího románu Maniac o možnostech vědy a nezodpovědnosti vědců vyprávíte o počítačovém systému AlphaGo, který porazil všechny světové velmistry hry go. Když jste ho psal, ještě neexistovali pokročilí chatboti. Před necelými dvěma lety se pak objevil ChatGPT, byla to pro vás satisfakce?

Hlavní postava románu John von Neumann nastiňuje, za jakých podmínek by počítačový systém mohl začít jevit známky inteligence srovnatelné s lidskou: musel by vyrůst, ne být postaven, a musel by se sám učit. A k tomu skutečně došlo. Necháváme tyto stroje, aby činily vlastní rozhodnutí, vyrůstaly na nich, učily samy sebe. Von Neumann také říká, že by musely používat jazyk, mluvit, číst, psát. S velkými jazykovými modely se to stalo realitou, u které jsme vůbec nečekali, že přijde tak rychle. Neváhal bych označit tyto technologie za zázračné. Jsou také značně nepochopitelné. Ani lidé, kteří je postavili, jim nerozumějí. Před vědce i filozofy staví zásadní otázky: Co je vědomí? Jaká je podstata inteligence? Jako řada dalších nových vynálezů jsou i tyto systémy děsivé, zneklidňující a zároveň obdivuhodné.

Co se vám honilo hlavou, když počítačové hráče firmy DeepMind vystřídaly v centru pozornosti ještě univerzálnější systémy – tedy právě generativní jazykové modely, zkráceně chatboti?

V zásadě jsem něco podobného očekával. Psal jsem o AlphaGo, protože podle mě představuje první případ kreativity, jež není kreativitou lidskou. Když hrál proti jihokorejskému velmistrovi I Se-tolovi, došlo k několika momentům, kdy jsme zahlédli nový druh krásy, kterou jsme si dříve neuměli představit. Bylo to například tah číslo 37 v jedné z partií, tah stroje. Zkušené hráče go zasáhl jako blesk. Byl něčím, co by člověk nikdy neudělal. Něčím zcela nepochopitelným, nepředstavitelným, krásným a děsivým – a zásadním pro vývoj partie, kterou pak stroj vyhrál. A pokud jde o jazykové modely, vyvíjejí se tak rychle, že během dvou tří let budou vyžadovat nějaký druh společného globálního postupu, který by je usměrnil. Pokud nepřijdeme na to, jak je správně používat, neumím si představit budoucnost, která nás čeká.

Jazykové modely se nečekaně, samy od sebe, naučily programovat, překládat z jazyka do jazyka, řešit matematické problémy. Varování před tímto vývojem chápu jako jedno z poselství vaší knihy. Vašimi slovy démon racionality a rozumu vytvořil novou nadlidskou moc, svého druhu nové božstvo.

Metafory často vycházejí z náboženství. Bohové představují nástroje, jejichž prostřednictvím se snažíme porozumět světu a sobě samým. Odkazy na bytosti, které existují jen v lidské představivosti, jsou cestou, jak mluvit o nevyslovitelném, nevyjádřitelném. Výpočetní technika, strojové zpracovávání informací, existuje zhruba od čtyřicátých let minulého století díky objevům vědců jako Alan Turing, John von Neumann a dalších. Je to možná největší objev vůbec, srovnatelný s osvojením ohně. A teprve nyní, po osmdesáti letech, začínáme doceňovat, o co jde: není to jen nová technologie, iPhone ve vaší kapse.

Co to tedy je?

Je to vzácný, podivný, hluboce tajemný aspekt vesmíru. Mezi ukřižováním Ježíše a prvními texty o jeho životě uběhlo osmdesát až sto let a pak chvíli trvalo, než povědomí o těchto událostech prosáklo do lidského vědění. Myslím, že teď procházíme podobně transformativním procesem. Paralela s Bohem se nabízí, protože se tu setkáváme se silami, které se vymykají našemu chápání. A také proto, že AI se do velké míry chová jako orákulum.

V jakém smyslu?

Na něco se jí zeptáte, požádáte ji o radu, a ona zpracuje vaše zadání a odpoví vám. To je pradávný přístup, jehož jsme v oblasti moderní techniky dosud nebyli svědky. Neprosíte jaderný reaktor, aby začal vyrábět energii. S velkým jazykovým modelem máme určitý vztah založený na pradávné technice, kdy kohosi temného, někoho, kdo v jeskyni inhaluje kouř, žádáte o vědění, o zjevení budoucnosti. I umělá inteligence je prediktivní, orientovaná na budoucnost. Hledá vzory, vzájemné souvislosti, a předvídá podle nich, co bude následovat.

Co nového nám tohle „orákulum“ může prozradit?

Nejlepší oblast použití AI je podle mě ve vědě a technologiích. Může pomoci třeba s vývojem materiálů, které by měly supravodivé vlastnosti, tedy nulový elektrický odpor, i za pokojové teploty. Víme, že supravodivost existuje, jen musíme najít vhodnou kombinaci materiálů. Umělá inteligence může zkoumat řadu možností způsobem, kterým to žádný člověk nedokáže. Může také navrhovat léky na míru, pro každého pacienta zvlášť podle jeho genomu. To je rovněž problém natolik komplexní, že ho sami nevyřešíme; musíme nejprve vytvořit systém, který to udělá za nás. Což je zajímavé – nutí nás to zvažovat základní paradoxy lidského vědění: vytvoříte nástroj, který vám může přinést obrovskou výhodu, dosud nedostupné vědomosti. Ale může také být velmi destruktivní. Je to balancování na ostří nože.

V jakém smyslu může být destruktivní?

Po zkrocení atomu jsme snili o jaderné fúzi, prakticky nevyčerpatelném zdroji poměrně čisté energie. Tu jsme neovládli, zato jsme se naučili vyrábět vodíkové bomby. Obávám se, že i v případě umělé inteligence si můžeme být jisti, že se naplní nejhorší scénáře. Přinese AI zároveň i pozitivní věci? Nevím, nejsem si jist. Jsem ale přesvědčen, že nízko visící ovoce, trochu nahnilé, určitě sklidíme.

Co dokáže jediná lidská mysl

Nevěříte tedy, že využijeme pozitiva AI a naučíme se ji regulovat tak, abychom nejhorším scénářům zabránili. Jaké to mohou být?

Nevím. Aby mohl člověk odpovědět, musel by být tak trochu šílený génius, něco jako byl Philip K. Dick, který měl skutečný cit pro budoucnost. Já ho ve svých knihách nemám, snažím se naopak hledět do minulosti. Psal jsem o Johnu von Neumannovi, protože se domnívám, že nejlepší způsob, jak přiblížit přicházející superinteligenci, je přemýšlet o té minulé. Von Neumann je nejbližší historickou analogií superinteligence, jakou máme. Nemám, co bych řekl o budoucích schopnostech počítačových systémů; o tom, jestli je budeme používat jen jako sexuální roboty či tvůrce horoskopů nebo nějak jinak. Vím ale, že tu máme jasný případ toho, co může udělat se světem mysl nadaná ohromující logikou a nesmírnou silou. Tím případem je jediná lidská bytost, John von Neumann.

Opravdu se podobal superinteligenci?

Byl to člověk přemýšlející o věcech, o kterých nikdo jiný uvažovat nedokázal. Člověk, který se ve svých úmyslech a cílech choval jako stroj provádějící výpočty. Počítač zrozený dřív, než jsme první vyrobili. Matematické entity, které teď vytváříme, vnímám jako jeho potomky ubírající se v mnoha ohledech po stejných cestách jako on – po cestách matematiky a Booleovy logiky. Jsou to matematické systémy generující jazyk. Pracují se symboly, které chápeme jako výsostně lidské. Pokud vydestilujete podstatu lidského poznání, přinejmenším toho racionálního, dostanete matematiku a jazyk. A je ohromující, že tu teď máme umělé systémy, které na matematickém základě generují mluvenou i psanou řeč.

Váš Maniac vypráví i o dalších vědcích první poloviny minulého století, často geniálních podivínech. Přitom končí téměř současnými událostmi, což je obrovský záběr. Jak velké úsilí jste věnoval studiu historických pramenů?

Nezabývám se klasickým studiem podkladů. V historických dokumentech a svědectvích se snažím objevit to, co dokáže zprostředkovat jen literatura: skrytá poselství, temné a divné významy ukryté mezi řádky. Čtu třeba záznamy přednášek, poznámky z obskurních seminářů, ale je to spíš černá magie, démonologie, hledání surovin, které děsí naši představivost a z nichž se rodí literatura. Člověk, který píše populárně-vědeckou knihu, biografii nebo historický román, chce podat pravdivý záznam skutečnosti. Já hledám hluboké noty a ozvěny – něco, z čeho se skládají mýty a sny. Hledám zbylé stopy duchů, které věda ještě nestihla vyhubit. Okamžiky v životě, které přetékají významy. Jako když biolog kráčí lesem a nevěnuje pozornost stromům a dalším makroskopickým rysům krajiny, ale naslouchá ozvěně něčeho skrytého, co žije v podzemí.

Co jste objevil?

Hledám momenty, jako bylo třeba snění Alana Turinga o stroji na způsob věštce, o nedeterministickém skoku. Jde o systém, který se striktně řídí zásadami logiky – a náhle učiní nečekaný intuitivní krok, podobně jako když člověk jedná podvědomě. Abych použil běžnou metaforu – hledám „ducha ve stroji“. Dělám to, co každý spisovatel, každý umělec, nebo to přinejmenším dělám já: s nesmírným apetitem vstřebávám věci až k přesycení, nasávám informace vlastně podobným způsobem, jako to při tréninku dělaly velké jazykové modely. A všechno to pak filtruji přes své obsese.

Takhle chápete tvorbu?

Tvorba není racionální proces, spíš se podobá deliriu. Zkrátka napínám mozek až k limitům. Po čase věci zvolna začnou krystalizovat. Začnu snít, časem i ve dne. A pak začnu psát. Člověk může skoro zešílet, nakonec ovšem vytvoří něco srozumitelného. V tom podle mě spočívá literární talent. Celý tenhle proces u mě trvá roky.

V jednom rozhovoru jste řekl: „V každé dobré knize je několik stránek, které nenapsal autor, ale něco vyššího, co mu vedlo ruku. Právě kvůli nim člověk píše.“ Jak se do tohoto stavu vytržení a extrémní inspirace dostat?

Obcovat s vlastním podvědomím je nebezpečná věc. Není to něco, do čeho byste se pustil a bezpečně se zcela příčetný vrátil. Spisovatel musí být tak trochu jako houba schopná nasávat věci zvenčí. Můj oblíbený autor Roberto Calasso jednou řekl, že nejvyšší formou inteligence je posedlost, schopnost nechat se něčím ovládnout. Součástí spisovatelského řemesla je tedy částečně i schopnost vzdát se kontroly nad tím, co vytváříte. Zároveň musím být schopen uvařit dceři oběd, odvést ji do školy, vyvenčit psa, zaplatit účty. Jde zkrátka o takové kontrolované halucinace, chcete-li.

Čím si k nim pomáháte?

Věcmi, které nelze doporučit každému. Zahrnují magii v západní tradici, rituály, meditaci, správné užívání jistých substancí, ovšem stejně jako rozum a racionální přemýšlení nebo četbu mých oblíbených autorů a naslouchání inspirativním lidem. Musíte používat tři části vašeho mozku: levou, pravou a tu, která vůbec není ve vaší hlavě.

Nebude mi vadit, když lidé přestanou číst

V dětství se vaše rodina opakovaně stěhovala mezi Jižní Amerikou a Nizozemskem. Jak jste to snášel?

Dětství je vždycky obtížné. Je vůbec zázrak, že jsme ho přežili. Nebyl jsem moc šťastné dítě a mezi Chile a Nizozemskem je obrovská propast. Výsledkem bylo, že jsem se necítil ani jako Chilan, ani jako Holanďan. Jsem Latinoameričan, ale vyrůstal jsem v anglicky mluvící kultuře. Chodil jsem do britské školy, takže všechny kulturní reference, které jsem si ze školy odnesl, jsou britské, což je divné. Ale když jste založením melancholik, nebudete se cítit dobře, ať už vyrůstáte kdekoli.

Současná mládež dává přednost videím na sociálních sítích a podcastům. Nebojíte se, že lidé brzy úplně přestanou číst knihy?

Je mi to jedno. Beztak už nikdo nečte. Nevím, jak u vás v Česku, ale tam, kde jsem vyrůstal já, jsem byl jediné dítě ve třídě a jediný ze všech mých kamarádů, kdo četl. Literatura je něco jako náboženství, jen bez jednoho boha. Je to něco posvátného, hluboce osobní věc. Vášnivý a intenzivní vztah s realitou, který nepotřebuje mít publikum. Většina mých oblíbených knih a autorů už nevychází nebo je zná minimum lidí. Posvátné ale zůstane posvátným, ať už v ně lidé věří nebo ne; i když je zapomenuto. Vůbec mi nebude vadit, když lidé přestanou číst.

Leckdo vaše knihy může chápat jako technofobické. Straníte se technologií?

Trpím fobiemi obecně, ale technofob nejsem. Většinu studia podkladů provádím pomocí internetu. Spisovatel musí být taky normální lidská bytost, dělat to, co ostatní. Vzdoroval jsem mobilním telefonům, dokud to šlo, ale pak už ne. Neúčastním se věcí, které jsou zcela hloupé a poškozují lidský mozek, jako jsou třeba sociální sítě. Což ale neznamená, že občas nekoukám na záběry štěňátka na Instagramu.

V závěru Strašlivé závrati vyprávíte o citrusu coby stromu, který na konci života projde obdobím nesmírné plodnosti, vytvoří tolik ovoce, že se mu lámou větve, obrovská úroda citrusů pod ním hnije, a pak uhyne. Je to metafora lidstva v závěrečném stadiu vývoje?

Nevím, jestli jsme odsouzeni k zániku, jestli máme před sebou miliony let, nebo jen padesát. Jak někdo řekl – když předvídáte budoucnost, vyplatí se nezacházet do detailů. Ale i pokud jsme odsouzeni k zániku, stejně bychom všichni měli žít životy naplněné smyslem, cílem a krásou. Mně osobně dělá starosti to, že mé dcerce rostou zuby ne úplně rovně. Že moje květiny napadl škůdce. A někdy taky to, že vytváříme inteligence, které nás mohou učinit zastaralými a přežitými.

Na co jiného se ale můžeme spolehnout při řešení problémů typu změny klimatu než na vědu?

Na naše vědomí. Věda je neutrální, lhostejná, slepá. Lidé takoví nejsou; nejsou to racionální procesy, které se odvíjejí po předem daných trajektoriích. Jsme pronásledovaný druh, který potřebuje veškeré své schopnosti k tomu, aby přežil. Nevyřešíme změnu klimatu pomocí umění, ale umění nás pomáhá přesvědčit, abychom se jí postavili. Nevytvoříme AI pomocí filozofie, ale potřebujeme filozofii, abychom lépe posoudili, jak s AI naložit. Lidé zapomínají, že jsme druh, který tančí, vyměšuje, souloží, ne nějaký druh mozku naloženého ve skleněné nádobě. Zapomínáme, že jsme živoucí organismus, který závisí na všech věcech, co kdy žily, i na těch neživých. Zapomínáme, že se minerály po milionech let eroze rozpouštějí v moři. Že celá Země je živá.

A jaké místo má pak v tomhle systému technologie a věda?

Technologie je náš nejlepší, nejostřejší nástroj. V prehistorických časech jsme začali vytvářet umění, ale zároveň zbraně. Nůž i hudební nástroj. Nezůstali jsme jen u lovu a plození dětí, ale přidávali jsme ke svým vědomostem další a další vrstvy a významy. Vezměte si jen to, že spolu vedeme tenhle rozhovor: jistě, je to prostřednictvím technologie, přes internet, ale já se snažím působit na vaši iracionální, emocionální stránku. Naše propojení vyžaduje mysl; tu složitou, divnou, temnou a hluboce záhadnou entitu. Zároveň máme také tělo a tyto dvě věci jsou propojeny způsobem, kterému pořád nerozumíme. Takže nezáleží jen na technologii. Ale třeba se v celém tomhle rozhovoru mýlím. To je naprosto v pořádku. Na tom být spisovatel je úžasné, že vaše omyly jsou občas stejně cenné jako těch pár věcí, které chápete správně. Nejsem politik, takže se můžu mýlit klidně pořád.

Píšete ve španělštině i angličtině. Jakým jazykem jste psal Maniaca?

Anglicky, stejně jako poslední kapitolu Strašlivé závrati. Přepínám mezi oběma jazyky, ale řekl bych, že hlavní je pro mě spíš angličtina. Mimochodem mezi oběma knihami jsem napsal rovněž anglicky ještě dvojici esejů The Stone of Madness (Kámen šílenství). A ten druhý vypráví příběh skutečné bývalé fyzičky, která byla přesvědčena, že já, ale i spousta dalších autorů včetně nobelistů si přivlastňujeme její nápady, vykrádáme její práci. Tvrdila také, že vydavatelství s pomocí umělé inteligence prosévají obsah internetu a přeskupují jej do nových forem. Když o tom psala, byl to paranoidní blud. Ale než moje kniha vyšla, stala se z toho reálná možnost. Je neuvěřitelné, kolik se toho děje. Literatura, dokonce ani science fiction nedokážou udržet krok s podivností světa.

Chilský spisovatel BENJAMÍN LABATUT (44) se narodil v Rotterdamu v Nizozemsku, dětství prožil částečně v Nizozemsku a Chile, kde dnes žije s manželkou a dcerou. Debutoval v roce 2009 sbírkou povídek La Antártica empieza aquí (Tady začíná Antarktida). Za román Strašlivá závrať (2020, česky 2023) byl nominován na Man Bookerovu cenu. Jeho zatím poslední román Maniac (2023, česky 2024) srovnávala kritika s filmem Oppenheimer a oceňovala ho mimo jiné za neobvyklý styl vyprávění.