Praha 14. 9. 2026
Ještě před rokem by podobná věta zněla jako názor technologických pesimistů. Ani já bych ji dříve neřekl. Jenže vývoj AI nabral v poslední době nečekanou rychlost a dostáváme stále více varovných signálů.
Nedávný incident při bezpečnostním testování OpenAI, kdy roj autonomních agentů obešel nastavená omezení, dostal se na internet a koordinovaně zaútočil na systémy Hugging Face, byl velkým budíčkem.
Nechci strašit a rozhodně nevolám po zastavení AI. Musíme ale jednat dřív, než ztratíme schopnost její vývoj efektivně řídit. Dřív, než budou nejpokročilejší systémy autonomně pomáhat vyvíjet své vlastní nástupce bez naší účinné kontroly.
Když AI pomáhá vyvíjet další AI
Jedním z největších rizik je tzv. recursive self-improvement. AI už dnes pomáhá programovat, dělat výzkum a vyvíjet další AI. Pokud se tento cyklus výrazně zrychlí, nové generace systémů mohou vznikat rychleji, než je budeme schopni pochopit, otestovat a kontrolovat.
A právě proto je podle mě nutné tuto debatu vést už dnes. Ne až ve chvíli, kdy bude problém před námi.
Šéfové největších AI laboratoří začínají varovat také
Urgenci celé debatě dodává skutečnost, že na stejný problém začínají velmi silně upozorňovat lidé, kteří nejpokročilejší AI systémy sami vyvíjejí.
Dario Amodei, CEO Anthropicu, nyní vyzval ke zpomalení tempa, jakým zvyšujeme schopnosti frontier AI modelů. Ne k zastavení AI, ale k tomu, abychom dali bezpečnosti a kontrole šanci technologický vývoj dohnat. Jeho text podle mě rozhodně stojí za přečtení.
A nezůstal sám.
Sam Altman z OpenAI už oznámil přijetí jednoho z Amodeiho konkrétních návrhů – nezávislých hodnotitelů s přístupem k vyvíjeným systémům. Přidali se také Elon Musk z xAI nebo Demis Hassabis z Google DeepMind. Tohle považuji za důležitý moment.
Lidé v čele frontier AI laboratoří, které spolu jinak velmi tvrdě soutěží, upozorňují na stejný problém a zároveň deklarují snahu spolupracovat. Podobný posun vidíme i v americké politice. V USA se už objevily legislativní návrhy na povinný „kill switch“ pro nejvýkonnější systémy nebo na dočasné pozastavení vývoje nejvyspělejší AI.
Klíčová otázka proto podle mě zní:
Jak rychle chceme dovolit frontier AI pokračovat ve vývoji?
Využívat AI naplno. Ale současně hlídat hranici.
Potenciál AI musíme maximálně využívat.
Potřebujeme rychlejší adopci, více investic, více výpočetní infrastruktury, evropské modely, čipy a cloud. Pokud chceme být v nové technologické éře konkurenceschopní, musíme AI aktivně rozvíjet, ne se jí bát.
Současně ale musíme vážně diskutovat o koordinovaném zpomalení vývoje frontier AI, především směrem k vysoce autonomním systémům. Cílem není vývoj zastavit. Cílem je zajistit, aby naše schopnost systémy kontrolovat a zabezpečit stíhala tempo, kterým rostou jejich schopnosti.
A klíčové slovo je koordinovaně.
Pokud zpomalí jedna firma nebo jedna země a ostatní budou pokračovat naplno, nebude to fungovat. Potřebujeme postupně hledat globální shodu na pravidlech dalšího vývoje frontier AI a dostat k jednomu stolu především USA a Čínu.
A co Evropa?
Evropa by podle mě měla usilovat o to, aby u tohoto stolu seděla jako konstruktivní a relevantní technologický partner. Ne abychom si mezitím vytvořili další vrstvu jednostranné evropské regulace, kterou ostatní nebudou respektovat, a snažili se být světovými lídry v papírování.
Pokud chceme spolurozhodovat o budoucnosti AI, musíme AI technologie především sami mít. Musíme mít vlastní schopnosti, infrastrukturu, firmy, know-how a špičkové technologie. Jinak nás u klíčových globálních jednání nikdo nebude brát jako skutečně relevantního partnera.
Ale o tom zase příště.
