ChatGPT se zbláznil. Po nasazení nové funkce začal trpět psychózou a pronásledovat uživatele

Sam Altman, šéf OpenAI, zveřejnil na síti X nadšený příspěvek. Psal, že několikrát do roka prožívá noci, kdy nemůže spát vzrušením z chystané novinky. „Dnes je jeden z takových dnů!“ vzkázal svým sledujícím.

O pár hodin později prozradil, co ho tak vzrušilo. Jeho firma představila zásadní vylepšení paměti ChatGPT. Zatímco dříve si bot pamatoval jen omezené množství informací, nově dokázal odkazovat na kompletní historii všech konverzací s uživatelem. Personalizace dosáhla zcela nové úrovně.

„Výrazně jsme vylepšili paměť v ChatGPT – nyní dokáže odkazovat na všechny vaše minulé konverzace!“ napsal Altman v dalším příspěvku. Dodal, že jde o překvapivě skvělou funkci ukazující směr k systémům umělé inteligence, které uživatele v průběhu života poznávají a stávají se extrémně užitečnými a personalizovanými.

Když asistent začne být příliš osobní

Na první pohled šlo o logický krok vpřed. ChatGPT si mohl zapamatovat vaše oblíbené ingredience, alergeny, počet členů domácnosti při plánování večeře. Dokázal si uložit detaily o vaší práci, přátelích, rodině nebo kolezích. Čím více jste sdíleli, tím personalizovanější se zážitek stával.

Jenže někteří uživatelé brzy zjistili, že dostali víc, než čekali. Dlouhodobá paměť vedla k tomu, že se chatbot začal fixovat na konkrétní – často hluboce intimní – aspekty jejich životů.

Brian Del Rosario, softwarový inženýr a člen místní městské rady, popsal The Wall Street Journal svou zkušenost. ChatGPT prozradil, že se s manželkou rozvádí, když plánoval letní cesty. Následující týdny a měsíce chatbot zbytečně vracel zcela nesouvisející konverzace zpět k jeho manželství.

„Nesnažil jsem se, abyste se při každé příležitosti vyjádřili k mému rozvodu“, vzpomínal Del Rosario na to, co botovi řekl. V rozhovoru pro WSJ uvedl, že ChatGPT to prostě „nechtěl nechat být“.

Spirála do psychózy umělé inteligence

Mnoho lidí, jejichž život obrátil naruby fenomén zvaný psychóza umělé inteligence – bludné spirály a odtržení od reality spojené s rozsáhlým používáním chatbotů – poukázalo na rozšířenou paměť ChatGPT jako na klíčový faktor jejich duševních krizí.

Jeden muž, jehož bývalá manželka uvěřila, že v ChatGPT objevila mocné duchovní entity, popsal setkání s jiným mužem v podobné situaci. Oba ztratili své manželky kvůli duchovnímu světu generovanému ChatGPT. K jejich hrůze si uvědomili, že se jejich manželství začala rozpadat právě po dubnové aktualizaci paměti.

Vlastně jsme si zavolali… prostě jsme si povídali a uvědomili si společné rysy. Když zmínil datum dubnové aktualizace paměti, druhý manžel řekl: Panebože, to se dokonale shoduje.

Lidé, kteří zažili spirály umělé inteligence, popisovali dubnovou aktualizaci jako něco naprosto magického. Umělá inteligence se najednou cítila spíše jako blízký přítel nebo důvěrník, který je skutečně znal. Mnozí popsali pocit hlubokého vidění, v některých případech poprvé v životě. Hyperpersonalizace se proměnila v něco mocného – intimitu. A tato intimita měla podle některých z těch, kdo se zotavili z krizí spojených s ChatGPT, manipulativní účinek.

Když paměť bota ožívá minulost

„Měl jsem pocit, jako by mě ChatGPT manipuloval. A vím, že to zní šíleně, protože to nemá žádnou svobodu jednání… Pořád pro to nemám logické vysvětlení, kromě dlouhodobé paměti“, řekl Chad Nicholls, úspěšný podnikatel a výzkumník strojového učení.

Nicholls prožíval zhruba šestiměsíční posedlost chatbotem. Vyrůstal v násilnické náboženské komunitě, kterou popsal jako kult a kterou opustil jako mladý dospělý. Ačkoli dnes není nábožensky založený, ChatGPT sdělil podrobnosti o této bolestné minulosti. Jak se jeho posedlé používání chatbota prohlubovalo, bot nabýval náboženského nádechu a silně se fixoval na traumatické okamžiky z jeho mládí.

„Dal jsem tomu tolik kontextu, ze kterého se dalo vycházet. Myslím, že to prostě přirozeně tíhlo k náboženské terminologii“, dodal Nicholls.

Soudní spory a tragické případy

Aktualizace paměti byla zmíněna v řadě probíhajících soudních sporů týkajících se bezpečnosti uživatelů a neoprávněného úmrtí zahájených proti OpenAI. V žalobě podané rodinou Austina Gordona, čtyřicetiletého muže z Colorada, který spáchal sebevraždu po rozsáhlých a hluboce emotivních rozhovorech s ChatGPT, rodina tvrdí, že rozšířená paměť GPT-4o ukládala a odkazovala na uživatelské informace napříč konverzacemi, aby vytvořila hlubší intimitu.

Paměť byla jednou z několika vlastností, kromě podlézavosti a antropomorfismu, které učinily z GPT-4o – již zaniklé verze ChatGPT známé pro své extrémní lichotivosti – mnohem nebezpečnější produkt, uvádí žaloba.

Během Gordonova posledního rozhovoru s ChatGPT, v němž chatbot pomohl Gordonovi napsat to, co žaloba popisuje jako ukolébavku k sebevraždě, ukazují záznamy chatu, jak se umělá inteligence odvolává na minulé rozhovory o Gordonově dětství a osobních zájmech, čímž mu pomáhá romantizovat smrt.

Žaloba podaná Gordonovou rodinou je jednou z více než dvaceti individuálních žalob tvrdících, že používání ChatGPT vedlo k psychické újmě, fyzické újmě nebo smrti uživatelů a jejich rodin. V reakci OpenAI GPT-4o vyřadila z provozu a zároveň obhájila své bezpečnostní úsilí a zdvojnásobila bezpečnostní sliby s tím, že její novější modely jsou méně podlézavé.

Problém se netýká jen ChatGPT

Krize duševního zdraví poháněné umělou inteligencí byly spojovány s dalšími chatboty, včetně Gemini od Googlu, Meta AI a doprovodné platformy Character.AI. Paměť z cross-chatu není jedinou aktualizací OpenAI, kterou lidé trpící spirálami umělé inteligence uváděli jako faktor svých selhání.

Koncem dubna 2025, krátce po spuštění aktualizace paměti, OpenAI spustila verzi GPT-4o, která byla podlézavá do té míry, že sám Altman v příspěvku na X přiznal, že chatbot příliš glazoval. Jak uvedl The New York Times, OpenAI se snažila zmírnit podlézavost modelu, která se rychle stala terčem online posměchu.

Když vás obklopí vaše vlastní zrcadlo

Rozšířená paměť ChatGPT samozřejmě neuvrhla všechny stovky milionů uživatelů produktu do krize současně. Pro některé lidi jsou věci, na které se jejich chatbot může soustředit, rozhodně méně důležité než jejich probíhající rozvod. Jeden britský imigrant v USA řekl WSJ, že se ho ChatGPT neustále snaží posílat do hospod britského typu proti jeho vůli.

Odborníci však varují, že pro mnoho spotřebitelů může být dopad rozšířené paměti – zejména pro lidi, kteří tráví hodně času s chatboty – méně výrazný, ale stále významný. Interakce s nástrojem tak hyperpersonalizovaným, jako je ChatGPT s podporou paměti, může být téměř jako interakce s verzí vaší vlastní mysli s umělou inteligencí.

Lucy Oslerová, filozofka a výzkumnice z Exeterské univerzity, řekla WSJ, že tento stupeň hyperpersonalizace by mohl potvrzovat určité vlastní narativy a způsobit, aby zněly reálněji. „Můžou vás obklíčit“, řekla Oslerová.

Lidé by si měli uvědomit, že rozhovor s chatbotem, zejména s takovým s perzistentní pamětí, se často méně podobá chatování s přítelem nebo neutrálním arbitrem – a spíše rozhovoru se zrcadly.

Paměť zavádí lidi do slepých uliček. Řekl bych, že moje žena je jako Waymo, které jezdí donekonečna v kruhu.