”Det som skrämmer mest är att AI lär sig social manipulation”

Rädslan för att AI snart kan utgöra ett hot mot mänskligheten har fått tunga namn att kräva att utvecklingen sätts på paus. Andra menar att det inte är själva AI:n som är problemet, utan den makt den kan ge åt ett fåtal utvalda.

Publicerad

AI-system kan göra avancerade saker, men hur? Artificiella neuronnät är som svarta lådor, där information behandlas utan att någon vet riktigt vad det är som händer.
Bild: Getty images

Tunga namn som tech-miljardären Elon Musk, historikern Yuval Noah Harari och Apples medgrundare Steve Wozniak har alla skrivit under ett öppet brev med krav på omedelbar paus i utvecklandet av AI-system som GPT-4.

Bakom brevet står den amerikanska tankesmedjan Future of Life Institute som anser att systemen kan bli så kraftfulla att de utgör en fara. Pausen ska ägnas åt att utveckla säkerheten.

Olle Häggström
Matematikprofessor Olle Häggström.
Bild: Institutet för framtidsstudier

Också Olle Häggström, matematikprofessor och författare av boken Tänkande maskiner, har skrivit under brevet. Han menar att språkmodeller kan börja ta egna initiativ som inte skaparna har tänkt sig.

– Det som jag är räddast för är att de här språkmodellerna börjar lära sig social manipulation. När de uppnår en viss kritisk förmåga kommer de att börja kunna göra sådant systematiskt för något visst syfte, säger han.

Olle Häggström menar att språkmodeller kan övertyga människor att göra saker, till exempel att komma förbi säkerhetssystem. Utvecklingen går just nu mycket fort och drivs på av en kapplöpning mellan olika företag.

Aleksis Pirinen, AI-forskaren på forskningsinstitutet Rise.

Utveckla hellre de AI vi har

AI-forskaren Aleksis Pirinen på forskningsinstitutet Rise välkomnar brevet som han tycker ställer viktiga frågor.

– Man skulle kunna ta ett steg tillbaka och reflektera över hur vi gör mest nytta med de AI-system vi redan har.

Det kan till exempel handla om att göra dem mer energieffektiva – AI har ett stort klimatavtryck – och om att förstå hur de kommer fram till de resultat de får, enligt Aleksis Pirinen.

Men frågan är hur en sådan paus skulle gå till och vem som skulle genomdriva den.

– Om en aktör stoppar sina insatser kommer den att förlora i konkurrensen med andra. Och om ett land begränsar sin forskning kommer andra att fortsätta, säger Aleksis Pirinen.

”Språkmodellerna är bara papegojor”

Lingvistikprofessorn Emelie Bender vid University of Washington, har skrivit ett kritiskt svar på det öppna brevet. Hon menar att det är ett problem att beskriva risken som att det handlar om att systemen ska bli för smarta och överlista människan. Språkmodellerna är bara ”stochastic parrots” (papegojor med slumpinslag). I stället hävdar hon att farorna med AI-system, och särskilt språkmodeller, är att de används för att koncentrera makt hos några få individer och företag, och att de kan massproducera falsk information och förstärka fördomar och polarisering.

Aleksis Pirinen påpekar att några av frågorna som ställs i brevet handlar om sådant som varit problem sedan länge, snarare än att de utgör ett hot i framtiden:

– AI används redan i sociala medier för att styra vår uppmärksamhet. Och redan innan GPT-4 fanns det metoder för att göra övertygande fejk-inlägg, säger han.

Olle Häggström anser ändå att det finns en risk att språkmodeller kan börja agera på egen hand. De stora artificiella neuronnät som bygger upp dagens system för artificiell intelligens gör saker på ett sätt som inte går att analysera i detalj. De är som en svart låda.

– Det gör att vi inte vet vilka slags mål och motiv som döljer sig djupt där inne i nätverken, säger Olle Häggström, och anser därför att det är viktigt att agera med mycket stor försiktighet.

Future of Life institute och AI

Future of Life Institute är en fristående tankesmedja i USA. Den grundades 2014 av bland andra fysikern Max Tegmark och Skypemiljardären Jaan Tallinn. Bland institutets viktiga bidragsgivare finns Elon Musk (Spacex, Tesla, Twitter) och Vitalik Buterin (grundare av kryptovalutan Ethereum).

Institutet ser artificiell intelligens som ett potentiellt hot mot mänskligheten och arbetar bland annat med lobbying, till exempel kring EU:s lagstiftning, och delar ut forskningsanslag till projekt för säker AI.

F&F i din mejlbox!

Håll dig uppdaterad med F&F:s nyhetsbrev!

Beställ nyhetsbrev

Prenumerera på Forskning & Framsteg!

10 tidningsnummer om året och dagliga nyheter på fof.se med kunskap baserad på vetenskap.

Beställ idag
Publicerad

Upptäck F&F:s arkiv!

Se alla utgåvor