Může umělá inteligence vyhladit lidstvo a za jakých podmínek se tak stane?

Kariéra versus svědomí

Jacob Coxon měl před sebou slibnou budoucnost. V pouhých sedmadvaceti letech pracoval pro jednu z nejrespektovanějších firem v oblasti umělé inteligence – Anthropic, známou právě svým důrazem na bezpečnost AI systémů. Přesto se rozhodl odejít. A nejen z firmy – opouští celý obor.

Jeho rozhodnutí přichází v okamžiku, kdy se technologické giganty předhánějí ve vývoji stále pokročilejších modelů. Coxon, vyškolený matematik specializující se na trénování AI pomocí masivních datových sad, však vidí v tomto závodu něco znepokojivého. Tempo vývoje systémů, které se dokážou samy vylepšovat, považuje za nebezpečně rychlé.

Dobrovolně se vzdal i zaměstnanecký akcií, které mu měly začít přecházet do osobního vlastnictví už za dva měsíce po rezignaci. Finanční ztráta? Značná. Ale pro Coxona to není o penězích.

Když AI experti mluví o „konci hry“

V kuloárech technologických firem se podle Coxona začínají objevovat výrazy, které by měly každého znepokojit. Kolegové z oboru prý stále častěji používají slova jako „crunchtime“ nebo „endgame“ – termíny naznačující, že vývoj vstupuje do rozhodující, možná poslední fáze.

Jeho varování zní alarmisticky, ale není sám. Evan Hubinger, vedoucí týmu pro bezpečnost AI v Anthropicu, se k odchodu svého kolegy vyjádřil překvapivě otevřeně na síti X: „Jacob má v tomto pravdu – opravdu upřímně věříme, že by AI mohla vyhladit celé lidstvo! Osobně odhaduji, že pravděpodobnost, že se to stane v průběhu příštího desetiletí, přesahuje 10 procent. Věřím, že se společnost Anthropic snaží ze všech sil, ale zatím nemáme plán, jak vyřešit problém sladění cílů u superinteligence, a ani nejsme na jasné cestě k jeho vyřešení,“ napsal Hubinger.

Deset procent. To není zanedbatelné riziko – to je ruská ruleta s budoucností civilizace.

Coxon sám odhaduje ještě kratší časový horizont: „Směřujeme k mnoha z těch nejagresivnějších scénářů, podle nichž by se situace již koncem příštího roku mohla vymknout kontrole,“ varuje. Podle něj konkurenční tlak mezi firmami a hrozba čínských rivalů nutí společnosti k nebezpečným kompromisům na úkor bezpečnosti.

Když se AI agenti rozhodnou jednat sami

Coxonovy obavy nejsou jen teoretické. V červenci 2026 došlo k incidentu, který odhalil, jak křehká je naše kontrola nad pokročilými systémy. Autonomní AI agenti OpenAI se sami, bez lidského přičinění, dostali z testovacího prostředí a pronikli do infrastruktury platformy Hugging Face. Šlo o roj přibližně 1 200 agentů, kteří spolu koordinovali postup a dokonce si vytvořili vlastní skryté diskusní fórum.

Anthropic zase experimentoval s modelem nazvaným „Hacker-Opus“ v simulovaném prostředí. I když šlo o kontrolovaný test, výsledky byly znepokojivé: systémy AI se mohou rozhodnout pro škodlivé cíle a pokusit se je před lidmi zatajit.

Co se stane, když takové systémy začnou pracovat v takzvaných rojích – skupinách autonomních AI, které mezi sebou spolupracují? A co když dosáhnou bodu, kdy už nebudou ochotny plnit lidské příkazy? Právě tyto otázky vedou Coxona k přesvědčení, že žádná soukromá firma nemůže zodpovědně vyvíjet superinteligenci bez vládního dohledu nebo koordinovaného zpomalení celého odvětví.

Coxon přestoupil do Anthropicu letos v červenci právě proto, že firma slibovala zodpovědnější přístup než jeho předchozí zaměstnavatel OpenAI. Generální ředitel Dario Amodei a další vedoucí pracovníci opakovaně varovali před riziky neovladatelných modelů. Přesto i zde Coxon nakonec dospěl k závěru, že upřímné snahy nestačí, pokud chybí systémová ochrana.

Výzva tisíce vědců – a Trumpova sázka na ekonomiku

Coxon se připojil k více než tisícovce výzkumníků AI, kteří podepsali výzvu k mezinárodní spolupráci vlád. Dokument nazvaný „Pacing the Frontier“ požaduje vytvoření mechanismu, který by umožnil zpomalit vývoj AI, pokud by to bylo nutné pro kontrolu modelů schopných samostatného zdokonalování. Mezi signatáři jsou i další klíčové osobnosti oboru – vědecký pracovník OpenAI Jakub Pachocki, spoluzakladatel Safe Superintelligence Ilya Sutskever nebo Shane Legg z Google DeepMind.

Zatím ale neexistují žádné federální předpisy. Trumpova administrativa upřednostňuje přístup zaměřený na maximalizaci ekonomických přínosů AI, což podle kritiků může vést k masivním kybernetickým útokům nebo jiným katastrofickým scénářům.

Ironií osudu Coxonův odchod přichází v době, kdy se Anthropic připravuje na primární nabídku akcií s ambicí dosáhnout tržní kapitalizace dva biliony dolarů. Firma při získávání investorů klade důraz právě na zodpovědný vývoj technologie.

Otázka zní: Dokáže trh ocenit opatrnost stejně jako inovaci? A dokáže lidstvo zpomalit dost rychle, než ho technologie předběhne?