Uchvácení moci prostřednictvím umělé inteligence

Původně vyšlo jako Preventing an AI-related catastrophy na 80 000 Hours · Autor: Cody Fenwick · Původně publikováno 24. 4. 2025.

Napoleon na císařském trůně – autor: Jean-Auguste-Dominique Ingres (1780–1867)

Proč je to naléhavý problém?

Nové technologie mohou výrazně proměnit mocenskou rovnováhu ve společnosti. Počáteční převaha Velké Británie v průmyslové revoluci například napomohla posílení její celosvětové dominance. 1

S rychlým pokrokem AI přichází vážné riziko, že tato technologie někomu umožní ještě výraznější globální uchvácení moci.

Znepokojení budí zejména pokročilá AI, protože ji může mít pod kontrolou malá skupina lidí, nebo dokonce jednotlivec. AI lze neomezeně kopírovat a s dostatečnou výpočetní infrastrukturou a výkonným systémem by jedna osoba mohla ovládat celou virtuální nebo fyzickou armádu AI agentů.

A protože by AI mohla nastartovat prudký rozmach ekonomiky, technologií a sledování, kdokoli, kdo by výlučně ovládal nejvýkonnější systémy, by mohl ovládnout zbytek lidstva.

Jeden z faktorů, který tuto hrozbu posiluje, je možnost skryté loajality. Mohlo by jít vytvořit systémy AI, které by zdánlivě jednaly v nejlepším zájmu lidstva, ale ve skutečnosti by podléhaly jedné osobě nebo malé skupině. 2

 Při využití v ekonomice, státní správě a armádě by tyto systémy mohly neustále vyhledávat příležitosti k prosazování zájmů svých skutečných pánů.

Zde jsou tři možné způsoby, jak by AI mohla bezprecedentní uzurpaci moci umožnit:

  1. Moci se chopí vývojáři AI – V tomto scénáři svou technologii k uchvácení moci využijí aktéři ve firmě nebo organizaci, která vyvíjí přední systémy AI. Dojít by k tomu mohlo, kdyby své systémy zavedli pro široké užití v ekonomice, armádě a státní správě, a přitom by tato AI tajně podléhala jim. Nebo by mohli interně vytvořit dostatečně výkonné systémy, které by dokázaly vygenerovat dostatek financí a zdrojů na násilné převzetí ostatních mocenských center.
  2. Vojenské puče – Když AI začne využívat armáda k získání konkurenční výhody, vytvoří se tím i nová slabá místa. Zbraňové systémy a autonomní vojenská zařízení by bylo možné navrhnout tak, aby plnily rozkazy bez jakýchkoli ohledů a formální i neformální kontroly pravomocí, která v armádě tradičně existuje – např. možnost neuposlechnout nezákonné rozkazy. Vojenský velitel nebo jiný aktér (včetně vlád potenciálně nepřátelských států) by mohl nějakým způsobem zajistit, aby mu vojenská AI podléhala, a využít ji k dalekosáhlému převzetí moci.
  3. Nárůst autokracie – Političtí vůdci mohou pokročilé systémy AI využít k upevnění své moci. Ať už na začátku byli zvoleni, nebo ne, vyspělá AI by jim umožnila oslabit jakéhokoli politického vyzyvatele. Například by potlačovali opozici zvýšeným dohledem a činností donucovacích orgánů.

Koncentrace mimořádné moci v rukou několika málo lidí by představovala významnou hrozbu pro zájmy zbytku světa. Mohla by dokonce znemožnit úspěšnou budoucnost, protože vývoj by podléhal vrtochům osob s diktátorskými sklony.

Existují také způsoby, jak by AI šla využít k rozsáhlému zlepšení správy veřejných záležitostí, ale předpokládáme, že situace, kdy by se někdo jejím prostřednictvím násilně chopil moci, by pro budoucnost lidstva byla špatná.

Jak tato rizika zmírnit?

Byli bychom rádi, kdyby se na zkoumání nejlepších způsobů, jak snížit riziko uzurpace moci prostřednictvím AI, pracovalo mnohem intenzivněji. Mezi možná nápomocná opatření patří tato:

  • Regulace interního využití: Zavést komplexní monitorování toho, jak se systémy AI využívají v nejpokročilejších firmách, a omezit přístup k čistě nápomocným modelům „helpful-only“, které se bez omezení řídí jakýmikoli instrukcemi.
  • Otevřenost ohledně parametrů modelů: Zveřejňovat podrobné informace o tom, jaké chování je v systémech AI zabudované, včetně pojistek a omezení, kterým jejich jednání podléhá. To umožní vnější kontrolu a odhalení možných chyb.
  • Širší sdílení kapacit: Zajistit, že výkonné kapacity AI budou rozděleny mezi více zúčastněných stran a nebudou se koncentrovat v rukou několika jednotlivců nebo organizací. To vytvoří brzdy a protiváhy, díky kterým bude uzurpace moci obtížnější. Je však třeba vzít v úvahu, že příliš široké rozdělení výkonných kapacit AI také představuje rizika, takže je potřeba tyto protichůdné ohledy důkladně vyvážit.
  • Kontrola skryté loajality: Vyvinout spolehlivé metody detekce, zda systémy AI nemají naprogramovanou skrytou agendu nebo zadní vrátka, která by jim umožňovala jednat způsobem odporujícím jejich udávanému cíli.
  • Pojistky u AI pro vojenské účely: Trvat na tom, aby AI pro vojenské účely měla důkladné pojistky proti využití při pučích, včetně zákazu útočení na civilisty a požadavků na několik nezávislých schválení mimořádných akcí.

Pro mnohem více podrobností k tomuto tématu si poslechněte rozhovor s Tomem Davidsonem.

Umělá inteligence představuje bezprecedentní riziko koncentrace moci. Na rozdíl od předchozích technologií může umožnit jednotlivci nebo malé skupině téměř absolutní kontrolu nad ekonomickými, vojenskými i správními systémy současně. Efektivní řešení vyžaduje mezinárodní spolupráci v následujících letech.

Další články v příručce:

Poznámky

  1. Tento článek významně čerpá z výzkumné práce AI-Enabled Coups: How a Small Group Could Use AI to Seize Power autorů Toma Davidsona, Lukase Finnvedena a Rose Hadshar.↩
  2. Organizace Anthropic ve své výzkumné práci ukázala, že systémy AI lze vytrénovat jako „spící agenty“ – to znamená, že mohou normálně fungovat a jevit se jako přátelské, ale obsahují tajné „spouštěče“, které u nich vyvolají zcela neočekávané nepřátelské chování. Tyto spouštěče mohou přetrvat i při využití standardních procedur na trénování nápomocných, neškodných a čestných modelů.
    Z výsledků vyplývá –  přestože to nebylo cílem výzkumu – že zakořenit v modelu „skrytou loajalitu“ může být možné.↩