Premiär för svensk AI-språkmodell

En språkmodell är ett AI-system som tränats på enorma mängder text för att ”lära sig” hur ord hänger ihop. Språkmodellen kan sedan vidareutvecklas för olika AI-tjänster.

Efter två års utveckling finns nu en svenskutvecklad språkmodell, GPT-SW3, som är fritt tillgänglig och som kan användas av företag och myndigheter för att bygga chattrobotar, likt Chat GPT, eller andra AI-tjänster.

Magnus Sahlgren, forskningschef för språklig AI på organisationen AI Sweden, är den som lett arbetet med den svenska språkmodellen.

Varför är en svensk språkmodell viktig?

– Av flera skäl. Ett är kompetensförsörjning. Vi kan inte outsourca utvecklingen till privata företag. Vi behöver förstå tekniken och bygga system i Sverige som är baserade här. När vi använder svensk data för att bygga den här typen av modeller speglar de också vår kultur och våra värderingar på ett bättre sätt.

– För myndigheter och företag är det heller inte självklart att använda modeller där driften sker utanför Sverige. Ur datasäkerhetssynpunkt vill du i många sammanhang ha en egen modell och full kontroll över hur modellen funkar och vart den körs. Det gäller inte minst sjukvården.

Kan vem som helst använda modellen?

– Ja, vi tycker att man ska bygga öppna modeller. De tränas ju på data som folk har producerat. Då är det demokratiskt att alla också får tillgång till dem.

Vilka data har modellen tränats på?

– Vi har försökt att välja data som representerar Sverige så stort som möjligt. Det är allt från myndighetstexter till diskussionsforum. Vi har bara valt data från öppna källor som vi också redovisar. Transparens är en annan fördel med att bygga vår egen modell. Det betyder också att när modellen används så kan man förstå varför den beter sig på vissa sätt. 

Finns det möjlighet att säga nej till att ens data används för träning?

– Absolut, GPT-SW3 är ett avslutat projekt, men vi har redan börjat planera för nästa generation modeller som kommer att vara ännu mer kraftfulla. I arbetet ingår att sätta upp ett genomtänkt ramverk för hur vi hanterar data inklusive frågor om upphovsrätt.

Vad är målet med nästa generations modell?

– Att det ska bli den första stora multimodala modellen för de nordiska språken. Det betyder att den inte bara kommer att kunna hantera text utan även bild och ljud och kanske andra modaliteter.  Första versionen kanske finns i slutet av 2024 i bästa fall, men det är en resursfråga.

Hur bra är GPT-SW3 jämfört med andra stora språkmodeller?

– Hur bra en modell är bestäms av storleken och hur mycket och hur bra data den tränats på. Vår modell kan betecknas som ”halvstor” och jämfört med GPT-4 är den ”halvbra”. Men vilken kapacitet som behövs beror ju på vad modellen ska användas till.  För vissa tillämpningar är GPT-SW3 mer än nog kraftfull. Den har inte samma förmåga att resonera kring data som GPT-4 som är mycket större men som också har kostat ofantligt mycket mer att bygga än den investering vi kunnat göra.

Hur unikt är det med en lokal språkmodell?

– Vi var tidigt ute och GPT-SW3 är det första projektet i Europa som har resulterat i en modell som utvecklats nationellt. Nu bubblar det överallt med initiativ för olika språk. Det är superkul.