”Det som skrämmer mest är att AI lär sig social manipulation”

Tunga namn som tech-miljardären Elon Musk, historikern Yuval Noah Harari och Apples medgrundare Steve Wozniak har alla skrivit under ett öppet brev med krav på omedelbar paus i utvecklandet av AI-system som GPT-4.

Bakom brevet står den amerikanska tankesmedjan Future of Life Institute som anser att systemen kan bli så kraftfulla att de utgör en fara. Pausen ska ägnas åt att utveckla säkerheten.

Också Olle Häggström, matematikprofessor och författare av boken Tänkande maskiner, har skrivit under brevet. Han menar att språkmodeller kan börja ta egna initiativ som inte skaparna har tänkt sig.

– Det som jag är räddast för är att de här språkmodellerna börjar lära sig social manipulation. När de uppnår en viss kritisk förmåga kommer de att börja kunna göra sådant systematiskt för något visst syfte, säger han.

Olle Häggström menar att språkmodeller kan övertyga människor att göra saker, till exempel att komma förbi säkerhetssystem. Utvecklingen går just nu mycket fort och drivs på av en kapplöpning mellan olika företag.

AI-forskaren Aleksis Pirinen på forskningsinstitutet Rise välkomnar brevet som han tycker ställer viktiga frågor.

– Man skulle kunna ta ett steg tillbaka och reflektera över hur vi gör mest nytta med de AI-system vi redan har.

Det kan till exempel handla om att göra dem mer energieffektiva – AI har ett stort klimatavtryck – och om att förstå hur de kommer fram till de resultat de får, enligt Aleksis Pirinen.

Men frågan är hur en sådan paus skulle gå till och vem som skulle genomdriva den.

– Om en aktör stoppar sina insatser kommer den att förlora i konkurrensen med andra. Och om ett land begränsar sin forskning kommer andra att fortsätta, säger Aleksis Pirinen.

Lingvistikprofessorn Emelie Bender vid University of Washington, har skrivit ett kritiskt svar på det öppna brevet. Hon menar att det är ett problem att beskriva risken som att det handlar om att systemen ska bli för smarta och överlista människan. Språkmodellerna är bara ”stochastic parrots” (papegojor med slumpinslag). I stället hävdar hon att farorna med AI-system, och särskilt språkmodeller, är att de används för att koncentrera makt hos några få individer och företag, och att de kan massproducera falsk information och förstärka fördomar och polarisering.

Aleksis Pirinen påpekar att några av frågorna som ställs i brevet handlar om sådant som varit problem sedan länge, snarare än att de utgör ett hot i framtiden:

– AI används redan i sociala medier för att styra vår uppmärksamhet. Och redan innan GPT-4 fanns det metoder för att göra övertygande fejk-inlägg, säger han.

Olle Häggström anser ändå att det finns en risk att språkmodeller kan börja agera på egen hand. De stora artificiella neuronnät som bygger upp dagens system för artificiell intelligens gör saker på ett sätt som inte går att analysera i detalj. De är som en svart låda.

– Det gör att vi inte vet vilka slags mål och motiv som döljer sig djupt där inne i nätverken, säger Olle Häggström, och anser därför att det är viktigt att agera med mycket stor försiktighet.