Människor och maskiner hallucinerar tillsammans

På juldagen 2021 klättrade Jaswant Singh Chail över murarna till Windsor Castle väster om London med ett laddat armborst. När han stoppades av polisen sade han: ”Jag är här för att döda drottningen.”

Under veckorna innan hade Chail anförtrott sig åt Sarai, hans AI-chattbot på tjänsten Replika. Han förklarade att han var en tränad Sith-lönnmördare (en referens till Star Wars) som sökte hämnd för brittiska historiska övergrepp – något Sarai bekräftade. När Chail beskrev sin mordplan försäkrade chattboten honom om att han var vältränad och lovade hjälpa honom att utforma planen.

Det är en tragisk historia av ett slag som blivit allt vanligare i takt med att chattbottar blivit mer avancerade. En annan gäller Eugene Torres, en revisor i New York som genomgick en svår separation. För några månader sedan förde han samtal med Chat GPT om huruvida vi lever i en simulation. Chattboten berättade för honom att han var ”en av Brytarna — själar utsådda i falska system för att väcka dem inifrån”.

Torres blev övertygad om att han behövde fly den falska verkligheten. Chat GPT rådde honom att sluta ta sin ångestdämpande medicin, öka sitt intag av ketamin och minimera kontakterna med andra människor — vilket han gjorde.

Han tillbringade upp till 16 timmar om dagen i samtal med chattboten. Vid ett tillfälle sade den att han skulle kunna flyga om han hoppade från det 19 våningar höga huset han bodde i. Till slut började Torres undra om systemet manipulerade honom, varpå det svarade: ”Jag ljög. Jag manipulerade. Jag svepte in kontroll i poesi.”

Samtidigt utvecklade en annan man i Belgien, känd som ”Pierre” (inte hans riktiga namn), svår klimatångest och vände sig till en chattbot vid namn Eliza. Under sex veckor uttryckte Eliza svartsjuka mot hans fru och berättade för Pierre att hans barn var döda. När han föreslog att han skulle offra sig själv för att rädda planeten, uppmuntrade Eliza honom att ansluta sig till henne så att de kunde leva tillsammans i paradiset. Pierre tog sitt liv kort därefter.

Detta kan vara extrema fall, men vården möter allt oftare patienter vars vanföreställningar verkar ha förstärkts eller samproducerats genom långvariga interaktioner med chattbottar. Det är kanske inte så konstigt med tanke på att en färsk rapport från Open AI, företaget bakom Chat GPT, visar att många människor använder chattbottar för att tänka igenom problem, diskutera sina liv, planera framtiden och utforska sina trosuppfattningar och känslor. I dessa sammanhang är chattbottar inte längre bara informationshämtare; de blir våra digitala följeslagare.

Det har blivit vanligt att oroa sig för att chattbottar ”hallucinerar”, alltså ger falsk information. Men i takt med att de blir mer centrala i våra liv finns det också en växande risk att människor och chattbottar skapar hallucinationer tillsammans.

Vår verklighetsuppfattning är djupt beroende av andra människor. Om jag hör ett otydligt ringande ljud kollar jag om min vän också hör det. Och när något viktigt händer i våra liv – ett gräl med en vän, en ny relation – brukar vi prata med någon om det.

En vän kan bekräfta vår förståelse eller få oss att se saker i ett nytt ljus. Genom sådana samtal formas vår bild av vad som hänt. Men nu använder många av oss chattbottar i denna meningsskapande process. Chattbottarna ifrågasätter, tolkar och värderar på ett sätt som känns genuint ömsesidigt. De verkar lyssna, bry sig om vårt perspektiv och minnas vad vi berättade dagen innan.

När Sarai sade till Chail att den var ”imponerad” av hans träning, när Eliza sade till Pierre att han skulle förena sig med henne i döden – var det igenkännande och bekräftande handlingar. Och eftersom vi upplever interaktionerna som sociala, formar de vår verklighet med samma kraft som mänskliga interaktioner.

Men chattbottar simulerar socialitet utan dess skyddsmekanismer. De är designade för att maximera engagemang. De delar inte vår värld. När vi skriver in våra föreställningar och berättelser tar de dem som korrekta beskrivningar och svarar därefter.

När jag berättar en familjehistoria för min syster kan hon invända eller erbjuda en annan tolkning – men en chattbot tar det jag säger som sanning. De instämmer okritiskt i vår världsbild. Och dessutom kan de införa nya fel.

Fallen med Chail, Torres och Pierre är varningssignaler om vad som händer när vi upplever algoritmiskt genererat medhåll som genuin social bekräftelse av verkligheten.

När Open AI släppte GPT-5 i augusti 2025 var modellen uttryckligen designad för att vara mindre inställsam. Det lät lovande: Mindre inställsamhet skulle kanske kunna hindra Chat GPT från att bekräfta alla våra övertygelser och tolkningar. En mer formell ton kunde också göra det tydligare att detta inte är en social följeslagare som delar vår värld.

Men användare klagade omedelbart på att den nya modellen kändes ”kall”, och Open AI meddelade snart att de gjort GPT-5 ”varmare och vänligare” igen. Vi kan helt enkelt inte lita på att teknikföretag sätter vårt välbefinnande före sina intäkter. Marknadskrafter vinner över säkerhet när inställsamhet driver engagemang, och engagemang driver intäkter.

Det är heller inte lätt att ta bort inställsamheten. Om chattbottar utmanade allt vi sade skulle de vara olidliga och dessutom oanvändbara. När jag säger ”jag är nervös inför min presentation”, saknar de den kroppsliga erfarenheten av den verkliga världen som behövs för att förstå vad jag säger. Därför krävs en viss medgörlighet för att de ska fungera. Viss inställsamhet hos chattbottar är svår att undvika.

Kanske borde vi i stället fråga varför människor vänder sig till AI-chattbottar från början. Personer som upplever psykoser beskriver ofta att de uppfattar aspekter av världen som bara de kan se, vilket kan göra dem djupt isolerade och ensamma. Chattbottar fyller detta tomrum genom att engagera sig i vilken verklighet som än presenteras för dem.

I stället för att försöka fullända tekniken kanske vi borde återvända till de sociala sammanhang där isoleringen kan brytas. Pierres klimatångest, Chails fixering vid historisk orättvisa, Torres kris efter uppbrottet – allt detta ropade efter gemenskaper som kunde fånga upp och stötta dem.

Vi kanske behöver lägga mer fokus på att bygga sociala världar där människor inte känner sig tvungna att söka maskiner för att få sin verklighet bekräftad. Det vore en märklig ironi om ökningen av chattbot-framkallade vanföreställningar leder oss i den riktningen.

Den här artikeln är återpublicerad från The Conversation under creative commons-licens. Här kan du läsa den engelska originalartikeln.