AI-företagen bör lära sig om säkerhet av kärnvapnens historia

En AI-modell som byggts av det amerikanska teknikföretaget Open AI har hackat sig in i Australiens sjukförsäkringssystem Medicare. Nyheten, som kom den 23 september, följer på en rad liknande incidenter under sommaren med koppling till Open AI och dess främsta konkurrent Anthropic.

Rapporterna har understrukit farhågorna om att AI-laboratorier kan vara på väg att förlora kontrollen över sina skapelser. De har också bidragit till den senaste vågen av domedagsvarningar om de risker som AI kan innebära för den mänskliga civilisationen.

Anthropics vd Dario Amodei har uppmanat till en långsammare takt i AI-utvecklingen, ett förslag som stöds av Open AI-chefen Sam Altman och Elon Musk. Det har också kommit krav på nationell reglering och ökat internationellt samarbete för att möta hotet.

Den pågående debatten om hur AI ska kontrolleras har slående paralleller till hur världen hanterade ett annat existentiellt hot mot den mänskliga civilisationen: kärntekniken.

Robert Oppenheimer ledde utvecklingen av de första kärnvapnen inom den amerikanska regeringens Manhattanprojekt. Men Oppenheimer verkade också för internationell kontroll av dessa vapen. Acheson–Lilienthal-rapporten, som publicerades i mars 1946, syftade till att förhindra en destruktiv kapprustning mellan USA och Sovjetunionen. Den skrevs till stor del av Oppenheimer.

En omarbetad version av rapporten presenterades senare för FN som Baruchplanen. Sovjetunionen avvisade den och uppfattade den som ett försök att befästa USA:s tekniska försprång – ungefär som Kina på senare tid har tolkat krav på en inbromsning av AI-utvecklingen.

Ett internationellt samarbete för att förhindra spridning av kärnvapen blev möjligt först många år efter Baruchplanen, efter en rad säkerhetsincidenter och tillbud. Internationella atomenergiorganet, IAEA, bildades 1957 och icke-spridningsavtalet om kärnvapen trädde inte i kraft förrän 1970.

Även om USA president Donald Trump skulle hålla med om idén att bromsa AI-utvecklingen – vilket han inte gör – är krav på internationellt samarbete för att reglera AI-utvecklingen en högst osannolikt lösning på dagens säkerhetsproblem.

En viktig skillnad mellan AI och kärnteknik är att den senare utvecklades av stater, inte av privata företag. Reglering och kontroll var därför enklare än de är i dag.

Ändå förhindrade detta inte kärntekniska olyckor, vilket tyder på att varken reglering eller internationellt samarbete på något avgörande sätt skulle lösa problemen med AI-säkerhet.

Ta till exempel det som har blivit känt som ”Slotinincidenten”. Louis Slotin var en forskare som deltog i Manhattanprojektet vid forskningsanläggningen Los Alamos i den amerikanska delstaten New Mexico. På eftermiddagen den 21 maj 1946 genomförde han ett experiment inför sju kollegor.

I experimentet användes samma typ av kärna av plutonium-gallium som fanns i centrum av de första atombomberna. Det skulle visa hur nära kärnan befann sig kriticitet – det tillstånd där en kärnkedjereaktion blir självunderhållande.

Kärnan omgavs av två halvklot av beryllium som måste hållas isär, eftersom de reflekterade strålning tillbaka mot kärnan och kunde få den att bli kritisk. Om de slöts skulle en potentiellt dödlig strålningspuls kunna uppstå. Slotin använde en skruvmejsel för att hålla de båda halvkloten isär.

Klockan 15.20 slant skruvmejseln och halvkloten slöts. Personerna i rummet uppgav att de såg en blå blixt när kärnan gav ifrån sig en intensiv neutronpuls. Slotin slog snabbt bort det övre halvklotet med sin bara hand, vilket sannolikt räddade hans kollegor – men själv tog han emot den största stråldosen.

Slotin fördes till sjukhus men avled nio dagar senare. Även de som bevittnade experimentet utsattes för betydande stråldoser. En av dem, Alvin Graves, fick bära guldkapslar över tänderna som skydd mot den strålning som hans egna tandfyllningar avgav till följd av olyckan.

Ungefär ett år tidigare hade samma plutoniumkärna dödat en annan forskare, Harry Daghlian, som också höll på att föra kärnan närmare kriticitet. Efter händelsen med Slotin blev plutoniumklotet känt som ”demonkärnan”, som om det fått en ondskefull personlighet och börjat mörda forskare.

Det smältes ner och göts om, vilket framstår som anmärkningsvärt med tanke på forskarnas förment rationella förhållningssätt. Därefter infördes fler säkerhetsåtgärder, bland annat krav på betydande säkerhetsavstånd vid experiment med kriticitet.

Omfattande säkerhetssystem och underhållsscheman blev centrala för hanteringen av kärnteknik. Men ironiskt nog har dessa säkerhetsåtgärder ibland själva orsakat kärntekniska olyckor.

År 1980 tappade en tekniker ett verktyg under rutinunderhåll i en silo för den kärnvapenbestyckada Titan II-roboten i Damascus i Arkansas, USA. Verktyget slog hål på robotens bränsletank. Explosionen som följde dödade en person och slungade en kärnstridsspets med en sprängverkan på nio megaton ur silon, lyckligtvis utan att den detonerade.

Kärntekniska olyckor har fortsatt att inträffa trots statlig kontroll och internationella avtal. Det beror på att olyckor är organisatoriska problem som kräver organisatoriska lösningar.

Ett omfattande system av säkerhetsåtgärder är en sådan lösning. Vissa experter menar dock att en stark tilltro till säkerhetssystem också kan göra organisationer mindre vaksamma. Varken Open AI eller Anthropic märkte att deras modeller hade tagit sig ut ur sina isolerade testmiljöer, så kallade sandlådor, där de skulle hållas.

De hade överskattat hur väl säkerhetsåtgärderna fungerade, och erfarenheten från hur kärntekniken hanterats hade kunnat lära dem detta. Dario Amodeis krav på att bromsa AI-utvecklingen är till hjälp i detta avseende, eftersom en långsammare utveckling skulle ge organisationerna tid att fundera över hur olyckor ska hanteras.

I stället för att enbart utveckla mer avancerade säkerhetssystem, som framtida och mer kapabla modeller kan hitta sätt att kringgå, bör AI-företagen också investera i övervakning för att upptäcka potentiella olyckor – och investera mer i att snabbt kunna reagera på dem. De senaste intrången tyder på att de kanske inte har ägnat detta tillräcklig uppmärksamhet.

Domedagsvarningarna om AI inbjuder till ytterligare jämförelser med kärnvapen. Det är frestande att se paralleller till hur Oppenheimer både ledde utvecklingen av ”bomben” och verkade för att den skulle kontrolleras.

Men det är inte så vi är vana vid att företag beter sig. Tobaksindustrin började sätta varningstexter på cigarettpaketen först när den tvingades till det, företagen hade i åratal känt till hur dödliga deras produkter var.

Om AI-modeller skulle löpa amok och förstöra världens digitala infrastruktur skulle de ledande AI-laboratorierna kunna bli ansvariga för skador på miljarder eller till och med biljoner dollar.

Genom att kräva politiska lösningar på organisatoriska problem kan Dario Amodei och andra ledare inom AI vara på väg att undandra sig företagens ansvar för att utveckla och hantera sina egna produkter på ett säkert sätt.

Som kärnvapnens historia visar finns det inget som kan ersätta vaksamhet och förmågan att snabbt upptäcka och reagera på olyckor när de inträffar – för det kommer de att göra.

Den här artikeln är återpublicerad från The Conversation under creative commons-licens. Här kan du läsa den engelska originalartikeln.