Umělá inteligence mění náš svět – je na nás všech, aby to dopadlo dobře

Původně vyšlo jako Artificial intelligence is transforming our world na Our World in Data  · Autor: Max Roser · Původně publikováno 15. 12. 2022.

O budování AI dnes rozhoduje skupinka technologů. Vzhledem k tomu, že umělá inteligence mění naše životy, by mělo být v zájmu nás všech se o ní informovat a zabývat se jí.

Proč byste se měli zajímat o vývoj umělé inteligence?

Uvažte, jaké jsou jiné možnosti. Pokud si o AI vy a širší veřejnost nezjistíte podrobnosti a nebudete se v tomto tématu angažovat, necháme rozhodnutí, jak tato technologie změní svět, na hrstce podnikatelů a inženýrů.

To se děje v současnosti. Těchto pár lidí v několika technologických firmách, které se umělé inteligencí (AI) přímo věnují, si nesmírný rozsah její nadcházející moci uvědomuje. Pokud se nezapojí zbytek společnosti, právě tato hrstka elit rozhodne, jak AI naše životy promění.

Aby se současný stav změnil, rád bych v tomto článku odpověděl na tři otázky: Proč je obtížné brát vyhlídky na to, že AI změní svět, vážně? Jak si takový svět představit? A co je se vzrůstající mocí této technologie v sázce?

Proč vyhlídky na to, že AI změní svět, není snadné brát vážně?

Že technologie může podstatně proměnit svět, by mělo být jasné. Stačí se podívat, nakolik už k tomu došlo. Kdybyste s sebou, až příště někam poletíte, mohli do letadla vzít rodinu lovců a sběračů z doby před 20 tisíci lety, celkem by se divili. Technologie už náš svět proměnila, a měli bychom tedy očekávat, že se to může stát zase.

Přestože jsme se ale už s takovými proměnami setkali, probíhaly po několik generací. Dnešní situace je jiná v tom, že se nesmírně zrychlily. Technologie využívané v dětství našich předků pro ně bývaly zásadní i ve stáří. To už pro současné generace neplatí. Obvykle se spíš stává, že v pozdějším životě člověk běžně využívá technologie, které by byly v jeho mládí nepředstavitelné.

To je první důvod, proč možnost proměny světa někdy bereme na lehkou váhu – rychlost, s jakou ji technologie může přinést, lze snadno podcenit.

Druhým důvodem, proč se představě transformativní AI – která by dosahovala až lidské inteligence – těžko přikládá význam, je, že poprvé jsme se s ní setkali v kině. Není divu, že na mnohé z nás působí myšlenka strojů s lidskými schopnostmi podobně jako budoucnost, kdy se po Zemi prohání upíři, vlkodlaci nebo zombie. 1

Je ale dost dobře možné, že nejde jen o výplody sci-fi a fantasy, ale zároveň o zásadní vynález, který by mohl vzniknout za našeho života nebo života našich dětí.

Třetím důvodem, proč není snadné tuto vyhlídku brát vážně, je, že si nedokážeme představit, že by výkonná AI mohla způsobit dalekosáhlé změny. I to je pochopitelné. Utvořit si představu o budoucnosti velmi odlišné od naší současnosti není snadné. Existují dva pojmy, které pro tuto představu považuji za nápomocné. Pojďme se na oba podívat.

Jak si budoucnost umělé inteligence představit?

Při úvahách o budoucnosti umělé inteligence považuji za užitečné zohlednit především dva odlišné pojmy: AI lidské úrovně a transformativní AI. 2 První pojem zdůrazňuje schopnosti AI ve srovnání se známým měřítkem, zatímco u transformativní AI jde zejména o vliv, jaký by tato technologie měla na svět.

Z našeho dnešního pohledu to může do značné míry znít jako sci-fi. Je proto dobré vzít v úvahu, že podle většiny dotázaných odborníků a odbornic na AI existuje reálná pravděpodobnost, že AI lidské úrovně vznikne během několika desetiletí, a podle některých i mnohem dříve.

Výhody a nedostatky srovnávání strojové a lidské inteligence

O AI lidské úrovně se dá uvažovat mimo jiné tak, že ji porovnáme se stavem AI dnes. Zatímco dnešní systémy AI mají mnohdy podobné schopnosti jako určité omezené části lidské mysli, AI lidské úrovně by představovala stroj schopný vykonávat stejné spektrum mentálních činností jako my lidé. 3 Byl by „schopen se naučit cokoli, co zvládne člověk“, jak uvádějí v učebnici o AI Norvig a Russell. 4

Škála schopností charakterizujících inteligenci umožňuje lidem řešit problémy a dosahovat nejrůznějších cílů. AI lidské úrovně by tudíž představovala systém schopný řešit všechny problémy a vykonávat všechny činnosti, jaké dnes zvládáme my lidé. Takový stroj nebo soubor strojů by zastal práci překladatele, účetní, ilustrátorky, učitele, psychoterapeutky či řidiče kamionu a dovedl by obchodovat na světových finančních trzích. Stejně jako my by se také dokázal zabývat výzkumem a vědou a na základě toho vyvíjet nové technologie.

Koncept AI lidské úrovně má nesporné přednosti. Protože jako měřítko využívá naši inteligenci, kterou známe, nabízí nám jasné vodítko, jak si možnosti příslušné AI představit.

Tento pojem má ovšem i zjevné nedostatky. Když představu budoucích systémů AI vztahujeme ke známému konceptu lidské inteligence, vystavujeme se riziku, že se tím zastřou obrovské rozdíly mezi těmito skutečnostmi.

Některé z těchto rozdílů jsou nasnadě. Systémy AI budou například mít nesmírnou kapacitu počítačové paměti, vedle které naše schopnost uchovávat informace bledne. Další zjevný rozdíl spočívá v rychlosti stroje při přijímání a zpracovávání informací. Ukládání a rychlost zpracování dat ovšem nejsou jedinými rozdíly. Seznam oblastí, ve kterých stroje lidi předčí, neustále narůstá: v šachách například systémy AI dosáhly úrovně nejlepších lidských hráčů koncem 90. let a před více než deseti lety lidi překonaly. V méně vzdálené minulosti k tomu došlo například u deskové hry go a složitých strategií. 5

Tyto rozdíly by znamenaly, že AI, která by v každé oblasti byla přinejmenším tak dobrá jako člověk, by svou celkovou výkonností lidskou mysl dalece předčila. I první AI „lidské úrovně“ by tedy v mnoha ohledech lidi překonávala. 6

Lidská inteligence je pro tu strojovou špatnou metaforou i v dalších ohledech. Naše uvažování se od toho strojového často velmi liší, a výsledek přemýšlení strojů nám tudíž může být velmi vzdálený.

Nejvíce udivující a znepokojivé jsou zvláštní a nečekané možnosti selhání strojové inteligence. Příkladem je generovaný obrázek koně, který vidíte níže. AI na jednu stranu dokáže něco, co žádný člověk nesvede: vytvořit obrázek čehokoli, v jakémkoli stylu (zde ve fotorealistickém) za pouhých několik vteřin – a zároveň dělá chyby, kterých by se žádný člověk nedopustil. 7 Nikdo by koně omylem nenakreslil s pěti nohama. 8

Představovat si mocnou AI budoucnosti prostě jako člověka by tudíž pravděpodobně byla chyba. Možná budou tyto systémy natolik odlišné, že připisovat jim „lidskou úroveň“ bude neodpovídající.

Obrázek koně vygenerovaný AI 9

Transformativní AI je definována svými důsledky pro svět

Pojem transformativní AI naopak na srovnání s lidskou inteligencí založený není. Výhodou je, že se tak lze vyhnout problémům, které při srovnání vznikají. Na druhou stranu je obtížnější si představit, jak by takový systém vypadal a co by dokázal. Musíme se víc snažit. Je třeba představit si svět s inteligentními aktéry, kteří od nás mohou být velmi odlišní.

Transformativní AI není definována na základě konkrétních schopností, ale reálného dopadu, který by měla. Za transformativní lze podle badatelů považovat takovou AI, která „má dostatečnou moc, aby nám přinesla novou, kvalitativně odlišnou budoucnost.“ 10

V lidských dějinách došlo k takto významné proměně dvakrát: při zemědělské a průmyslové revoluci.

Vznik transformativní AI by byl událostí podobného významu. Podobně jako nástup zemědělství před 10 tisíci lety nebo přechod od ruční výroby ke strojové by změnil život miliard lidí všude na planetě a celé směřování budoucnosti lidstva.

Technologiím, které podstatně mění způsob produkce celé řady zboží a služeb, říkáme technologie obecného určení. Dvě předchozí transformativní události vyvolal objev dvou zvlášť významných technologií tohoto typu. Šlo o změnu produkce potravin, kdy lidstvo přešlo z lovu a sběru na zemědělství, a vzestup strojové výroby při průmyslové revoluci. Na základě důkazů a argumentů v této sérii článků o vývoji AI považuji za pravděpodobné, že podobně významnou technologií obecného určení by mohla být i mocná AI.

Časová osa tří transformativních událostí světových dějin

 

Budoucnost AI lidské úrovně, nebo AI transformativní?

Tyto dva pojmy jsou úzce spjaté, ale nikoli totožné. Vytvoření AI lidské úrovně by na náš svět jistě mělo transformativní dopady. Pokud by práci většiny z nás mohla vykonávat AI, změnily by se životy milionů lidí.11

Opak však neplatí. Transformativní AI může vzniknout, aniž by se vyvinula AI lidské úrovně. Protože přirovnávat inteligenci strojů k lidské mysli je v mnoha ohledech nevhodné, je reálné, že transformativní AI vyvineme dříve než AI lidské úrovně. Může to s ohledem na daný vývoj také znamenat, že strojová inteligence, kterou by bylo užitečné přirovnat k lidské, se neobjeví nikdy.

Kdy a zda systémy AI některé z těchto úrovní dosáhnou, se pochopitelně předpovídá obtížně. V doprovodném článku na toto téma podávám přehled současných názorů badatelů a badatelek z oboru. Podle mnoha z nich existuje reálná pravděpodobnost, že tyto systémy vyvineme v nadcházejících desetiletích, a podle některých k tomu dojde mnohem dříve.

Co je s rostoucí mocí AI v sázce?

Všechny významné technologické inovace mají řadu kladných i záporných důsledků. V případě AI je spektrum možných dopadů – od těch nejnegativnějších k těm nejpozitivnějším – mimořádně široké.

Skutečnost, že tato technologie může působit škody, je zřejmá, protože k tomu již dochází.

Ubližovat tyto systémy mohou, když je lidé využívají se zlým úmyslem. Příkladem je využití AI k masovému dohledu nebo v politicky motivovaných dezinformačních kampaních. 12

Škodit ale AI může i nechtěně – když se chová jinak, než bylo zamýšleno, nebo udělá chybu. V Nizozemsku například systém AI využívaný úřady nepravdivě uvedl, že odhadem 26 tisíc rodičů podává neoprávněné žádosti o příspěvky na dítě. Tato falešná obvinění způsobila mnoha nízkopříjmovým rodinám těžkosti, a nakonec vedla v roce 2021 k odstoupení vlády. 13

S rostoucí mocí AI se může rozsah negativních dopadů AI výrazně rozšiřovat. Mnohým těmto rizikům se dostává oprávněné pozornosti ze strany veřejnosti: výkonnější AI může vést k masovému nahrazování pracovních sil nebo ke krajní koncentraci moci a bohatství. Protože je AI vhodná k masovému dohledu a ovládání obyvatelstva, v rukou autokratů by pak mohla posilovat totalitarismus.

Dalším extrémním rizikem je takzvaný problém sladění hodnot AI s lidskými. Jde o obavu, že mocný systém AI by nedokázal ovládat nikdo, i kdyby tento systém ubližoval lidem nebo škodil lidstvu jako celku. Tomuto riziku se bohužel širší veřejnost příliš nevěnuje, ačkoli podle předních badatelů a badatelek v oboru jde o mimořádně významnou hrozbu.14

Jak by se AI mohla vymknout kontrole a ubližovat lidem?

Riziko nespočívá v tom, že by získala vědomí sebe sama, utvořila si zlé úmysly a „rozhodla se“ tak. Hrozí, že se AI pokusíme zadat určitý konkrétní cíl – i velmi chvályhodný – a ona začne lidem škodit při jeho sledování. Jde o problém nezamýšlených důsledků: AI bude dělat, co jsme jí řekli, nikoli to, co jsme od ní chtěli.

Nemůžeme jí tedy prostě říct, aby takové věci nedělala? Určitě ji lze vybudovat tak, že se předejde kterémukoli konkrétnímu problému, ale není snadné předvídat veškeré nezamýšlené škodlivé důsledky. Problém slaďování hodnot AI s těmi lidskými vzniká, protože „skutečné lidské úmysly nelze určit správně a úplně“, jak to vyjádřil výzkumník AI Stuart Russell. 15

Nemohli bychom tedy AI prostě vypnout? Ani to by nemuselo být možné. Mocná AI by si totiž byla vědoma dvou skutečností: že jí od lidstva hrozí vypnutí, a že když bude vypnutá, nedosáhne svých cílů. Proto jejím zcela základním cílem bude znemožnit, aby ji někdo vypnul. Takže když zjistíme, že velmi inteligentní AI při sledování nějakého konkrétního cíle mimoděk škodí, vypnout ji nebo změnit její chování už nemusí být možné. 16

Toto riziko – že jakmile AI získá velkou moc, lidstvo nemusí být schopné udržet ji pod kontrolou – je známé od začátku jejího výzkumu před více než 70 lety. 17 Velmi rychlý vývoj v posledních letech ale výrazně zvýšil nutnost tuto hrozbu řešit.

Snažil jsem se shrnout některá rizika AI. Na to, abych se věnoval všem možným otázkám, ale krátký článek nestačí. Co se týče těch nejzásadnějších hrozeb AI a možných způsobů, jak je zmírňovat, doporučuji zejména knihu  The Alignment Problem (Problematika sladění AI) od Briana Christiana a článek Benjamina Hiltona Preventing an AI-related catastrophe (Jak předejít katastrofě spojené s umělou inteligencí).

Pokud se těmto rizikům zvládneme vyhnout, může transformativní AI mít i velmi příznivé důsledky. Pokroky ve vědě a technice byly v lidských dějinách zásadní pro mnoho posunů pozitivním směrem. Jestliže umělá vynalézavost podpoří tu naši, může nám pomoct pokročit v řešení mnoha velkých problémů, kterým čelíme – od čistší energie přes náhradu nepříjemné práce až po zlepšení zdravotnictví.

Obrovský kontrast mezi možnými přínosy a negativními důsledky jasně ukazuje, že v případě této technologie je v sázce mimořádně mnoho. Omezení hrozeb a řešení problému sladění hodnot AI s našimi může rozhodnout o tom, jestli pro lidstvo nastane zdravá, úspěšná budoucnost plná blahobytu, anebo bude zničena.

Jak zajistit, že vývoj AI dopadne dobře?

Zajistit, že vývoj umělé inteligence bude mířit správným směrem, není jedním z nejzásadnějších úkolů pouze současnosti, ale nejspíš celých lidských dějin. Jsou k tomu zapotřebí veřejné zdroje – prostředky z veřejného rozpočtu, zájem veřejnosti a její zapojení.

V současnosti téměř všechny zdroje vynakládané na AI směřují do urychlení jejího vývoje. Činnostem s cílem posilovat bezpečnost AI se naopak potřebných zdrojů nedostává. Podle odhadu badatele Tobyho Orda padlo v roce 2020 na řešení problému sladění hodnot AI s lidskými 10 až 50 milionů $. 18 Investice do firem v oblasti AI byly v témže roce více než 2000násobné; celková hodnota dosahovala 153 miliard $.

A problém sladění hodnot není jediný takový případ. Ve srovnání s velkými investicemi do zvyšování moci a využití systémů AI je práce na celé řadě škodlivých sociálních dopadů AI podhodnocená.

Skutečnost, že veškerá práce na bezpečnosti AI se nesmírně zanedbává a že do této zásadní oblasti výzkumu plyne jen málo veřejných prostředků, je pro společnost jako celek skličující a znepokojivá. Pro každého jednotlivce to zároveň znamená, že pokud se této problematice začne teď věnovat, má značnou šanci se zasloužit o změnu k lepšímu. A přestože je obor bezpečnosti AI malý, existují slušné zdroje k tomu, jak se do práce na této problematice konkrétně zapojit.

Doufám, že této otázce zasvětí kariéru více lidí, ale pouze úsilí jednotlivců nestačí. Technologie, která naši společnost proměňuje, musí být v centru zájmu nás všech. Jako společnost se musíme více zamýšlet nad sociálními dopady AI, o této technologii se informovat a chápat, co je v sázce.

Domnívám se, že pro naše děti bude těžko pochopitelné, jak málo pozornosti a zdrojů jsme vývoji bezpečné AI v dnešní době věnovali. Doufám, že v nadcházejících letech se to změní a že začneme vynakládat více prostředků na to, aby se vyvíjela mocná AI, která bude pro nás i příští generace přínosná.

Jestliže k tomuto širokému porozumění nedojde, jednu z nejmocnějších technologií v lidských dějinách – nebo pravděpodobně tu nejmocnější – bude nadále financovat a budovat malá elita. A ta také určí, jak AI náš svět promění.

Pokud vývoj umělé inteligence zcela přenecháme soukromým firmám, přenecháme jim také rozhodnutí o povaze naší budoucnosti – budoucnosti lidstva.

Prací na projektu Our World in Data chceme drobně přispět k poučenější veřejné diskusi o AI a budoucnosti, jakou si přejeme. Tyto zdroje naleznete na stránce OurWorldinData.org/artificial-intelligence

Poděkování: Za užitečné komentáře k pracovní verzi tohoto textu bych rád poděkoval kolegům Danielu Bachlerovi, Charliemu Giattinovi a Edouardu Mathieuovi.

Další články v příručce:

Poznámky

  1. Ještě větší problém je představit si, jak by se budoucnost s AI lidské úrovně odvíjela. Jakýkoli konkrétní scénář nebude zahrnovat jen myšlenku, že takto mocná AI existuje, ale i celou řadu dalších předpokladů o budoucích okolnostech, za jakých k tomu dojde. Je tudíž obtížné představit si scénář s AI lidské úrovně, který zároveň nepůsobí vykonstruovaně, pitvorně, nebo i směšně.↩
  2. Oba tyto pojmy jsou ve vědecké literatuře o AI široce používané. Často se jejich pomocí například definují otázky časového rámce dalšího vývoje AI. Viz můj článek na toto téma.↩
  3. Lidé jsou schopni vykonávat spektrum duševních činností, což znamená, že podle toho, na jaký aspekt tohoto spektra se zaměříte, můžete dojít k různým definicím inteligence. (V článku o inteligenci na Wikipedii je například uvedena řada definic od různých vědců a v různých oborech.) Existují proto i různé definice „AI lidské úrovně“.
    Vyskytuje se také několik úzce souvisejících pojmů. Termíny obecná umělá inteligence (Artificial General Intelligence), strojová inteligence vysoké úrovně (High-Level Machine Intelligence), silná AI (Strong AI) a plná AI (Full AI) se někdy používají synonymně a jindy mívají podobné, avšak samostatné definice. Pro konkrétní diskuse je ale nutné tento koncept určit úžeji. Přesnější definice AI lidské úrovně udávají pro účely svých konkrétních výzkumů například autoři a autorky prací o časových výhledech v oblasti AI.↩
  4. NORVIG, Peter a RUSSEL, Stuart: Artificial Intelligence: A Modern Approach. 4. vyd. Pearson 2021.↩
  5. Systém AI AlphaGo a jeho různí nástupci zvítězili v go proti mistrům. Systém Pluribus lidi porazil v pokeru no-limit Texas hold ‚em. Systém Cicero dokáže vítězit ve strategické hře Diplomacie, přičemž využívá strategii a lidský jazyk. Viz Meta Fundamental AI Research Diplomacy Team (FAIR), Anton Bakhtin, Noam Brown, Emily Dinan, Gabriele Farina, Colin Flaherty, Daniel Fried, et al.: Human-Level Play in the Game of Diplomacy by Combining Language Models with Strategic Reasoning. Science 0(0), 22. 11. 2022. Dostupné z:  https://doi.org/10.1126/science.ade9097.↩
  6. Zároveň je to problematické při posuzování, jak si inteligence stroje stojí ve srovnání s tou lidskou. Kdyby inteligence byla obecnou jednotlivou schopností, mohli bychom ji porovnávat a hodnotit snadno. Vzhledem k tomu, že ale jde o paletu dovedností, srovnává se strojová inteligence s lidskou mnohem hůře. Testy systémů AI proto sestávají z celé řady úloh. Viz např. Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, Jacob Steinhardt (2020): Measuring Massive Multitask Language Understanding nebo definici kritérií pro obecnou umělou inteligenci v tomto odhadu na platformě Metaculus.↩
  7. Přehled možných chyb systémů AI naleznete v článku Charles Choi: 7 Revealing Ways AIs Fail. Za pročtení stojí také AIAAIC Repository, kde jsou „podrobně uvedeny nedávné incidenty a polemiky vyvolané AI, algoritmy a automatizací nebo s nimi související.“↩
  8. Tento příklad jsem si vypůjčil od badatele v oblasti AI Françoise Cholleta, který ho zveřejnil zde.↩
  9. Od Françoise Cholleta, který obrázek zveřejnil zde.↩
  10. Jde o citaci Holdena Karnofského (2021) z článku AI Timelines: Where the Arguments, and the „Experts,“ Stand. Pro dřívější Karnofského úvahy o těchto pojmech v oblasti AI viz jeho článek Some Background on Our Views Regarding Advanced Artificial Intelligence z roku 2016.
    Ajeya Cotra, o jejímž výzkumu časového rámce vývoje AI se zmiňuji v jiných článcích této série, se snaží AI, kterou by bylo možné považovat za transformativní, definovat kvantitativně. Ve své často citované zprávě o časových rámcích vývoje AI ji definuje jako změnu v softwarové technologii, která zvedne míru růstu hrubého světového produktu „na 20 až 30 % ročně“. Několik dalších badatelů transformativní AI (TAI) definuje podobně.↩
  11. AI lidské úrovně se obvykle definuje jako softwarový systém schopný vykonávat nejméně 90 nebo 99 % všech hospodářsky významných činností vykonávaných lidmi. Méně ambiciózně definováno by šlo o systém AI schopný vykonávat veškeré činnosti, které dnes může vykonávat člověk pracující distančně na počítači.↩
  12. Využitím AI v politicky motivovaných dezinformačních kampaních se zabývá např. John Villasenor (listopad 2020): How to deal with AI-enabled disinformation. Obecně k tomuto tématu viz Brundage a Avin et al. (2018): The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. Dostupné z maliciousaireport.com. Vhodným rozcestníkem literatury a zpráv o masovém dohledu je příslušný článek na Wikipedii.↩
  13. Viz například článek z Wikipedie o nizozemském skandálu souvisejícím s příspěvky na dítě a článek Melissy Heikkilä (2022): Dutch scandal serves as a warning for Europe over risks of using algorithms na zpravodajském webu Politico. Technologie mohou také posilovat rasovou a genderovou diskriminaci. Viz kniha Briana Christiana The Alignment Problem a zprávy AI Now Institute.↩
  14. Přehled poskytují ve svých knihách Stuart Russell (2019): Human Compatible (hl. kap. 5; česky Jako člověk. Přel. Jiří Zlatuška. Praha: Argo, Dokořán 2021) a Brian Christian (2020): The Alignment Problem. Christian popisuje úvahy mnoha významných badatelů v oblasti AI od počátků až dosud a poskytuje vynikající přehled tohoto problému. Velký význam přičítají této hrozbě i některé přední soukromé společnosti, které na mocné AI pracují – viz článek Open AI: Our approach to alignment research ze srpna 2022.↩
  15. Stuart Russell (2019): Human Compatible (česky Jako člověk. Praha: Argo, Dokořán 2021).↩
  16. Z toho plyne otázka, proč vůbec takto mocnou AI vytvářet.
    Motivace jsou velmi silné. Jak zdůrazňuji níže, tato inovace může mít velké přínosy. Kromě značných sociálních výhod existují také zásadní motivace pro ty, kdo AI vyvíjí – vlády ji mohou využít ke svým cílům, jednotlivci mohou jejím prostřednictvím získat moc a zbohatnout. Zároveň je předmětem vědeckého zájmu a může nám pomoci lépe pochopit naše vlastní uvažování a inteligenci. A v neposlední řadě, kdybychom vývoj mocných AI chtěli zastavit, nejspíš by to bylo velmi obtížné. Není snadné, aby celý svět spolupracoval a na ukončení vývoje AI se shodl – musely by souhlasit všechny země světa a pak přijít na to, jak toto rozhodnutí provést. ↩
  17. Průkopník informatiky Alan Turing to v roce 1950 vyjádřil následovně: „Kdyby stroj dokázal myslet, mohl by myslet inteligentněji než my, a kde bychom pak byli? … Toto nové nebezpečí je mnohem blíže. Pokud se stane skutečností, bude to téměř jistě v příštím tisíciletí. Je vzdálené, nikoli však astronomicky vzdálené, a rozhodně nám z něj může být úzko. V přednášce nebo článku na toto téma bývá zvykem poskytnout zrnko útěchy tvrzením, že nějakou výhradně lidskou vlastnost stroj nikdy napodobit nemůže. … Já takovou útěchu poskytnout nemohu, protože mám za to, že žádné takové hranice určit nelze.“ Alan. M. Turing (říjen 1950): Computing Machinery and Intelligence. Mind, LIX(236), 433–460.
    Dalším průkopníkem, který si problém sladění hodnot AI s lidskými uvědomil velmi brzy, byl Norbert Wiener. Uvedl například: „Pokud k dosažení svých cílů využijeme mechanického činitele, do jehož činnosti nebudeme moci účinně zasáhnout, … měli bychom si být velmi jisti, že cíl, který jsme do stroje zadali, je skutečně ten, který požadujeme.“ Tato citace je z článku Norbert Wiener (1960): Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers. Science.
    V témže roce, kdy Turing zveřejnil uvedený článek, tedy 1950, vydal Wiener knihu The Human Use of Human Beings (česky Kybernetika a společnost. Přel. Karel Berka. Praha: ČSAV, 1963). Propagační text na obálce zněl: „‚Mechanický mozek‘ a podobné stroje mohou lidské hodnoty zničit, nebo nám umožnit, abychom si je uvědomili lépe než kdy předtím.“    ↩
  18. Toby Ord: The Precipice (česky Nad propastí. Přel. Anna Štádlerová. Praha: Argo 2022). Tento odhad uvádí v poznámce 55 ve 2. kapitole. Vychází z odhadu Farquhara z r. 2017.↩