Utdrag ur TIMSS: ”Både låg- och högpresterande elever har förbättrat sina resultat i TIMSS 2015.” Utdrag ur PISA: ”I matematik har förbättringen skett jämnt över alla elevgrupper.” Utdrag ur PISA: ”I naturvetenskap har de relativt högpresterande eleverna förbättrat sig medan resultaten för de relativt lågpresterande eleverna inte förändrats.” Utdrag ur TIMSS: ”Svenska elever presterar under genomsnittet i matematik för EU- och OECD- länderna, både i årskurs 4 och 8.”Återhämntning: De svenska PISA-resultaten i matematik är nu tillbaka på samma nivå som år 2009.
Bild: Johan Jarnestad

Proven ger en kluven bild av den svenska skolan

I slutet av 2016 släpptes PISA och TIMSS, som båda visade en viss uppgång för den svenska skolan. Men vad betyder siffrorna och vad säger undersökningarna om tillståndet i den svenska skolan? Pedagogen Jan-Eric Gustafsson manar till försiktighet i tolkningen av siffrorna.

I slutet av 2016 fick svenska folket svar på den fråga som hängt i luften under flera år: Hur går det med skolan? Till skillnad från den nationella depression som drabbade landet efter utförslöpan i PISA 2012, fanns nu så tydliga indikationer på förbättringar att många drog en lättnadens suck. Det finns anledning att glädjas över uppgången i de svenska elevernas medelresultat i matematik och naturvetenskap. Men det faktum att både PISA och TIMSS visar att likvärdigheten i utbildningsresultaten försämrats är bekymmersamt, i synnerhet som detta innebär en fortsättning av en långvarig trend. Det är också ett förvånande resultat, eftersom det enligt analyser av tidigare PISA-omgångar är vanligt att goda medelresultat för ett land hänger samman med en hög grad av likvärdighet.

Det är svårt att dra nytta av resultaten från de internationella undersökningarna om det inte också finns bra förklaringar till vad som orsakat de olika utfallen. I den diskussion som följt på publiceringen av PISA- och TIMSS-resultaten saknas inte heller bestämda besked från tidningarnas ledarredaktioner och utbildningspolitikerna om vilka reformer som har orsakat de förbättrade resultaten. Någon egentlig underbyggnad har dessa besked dock inte, så de får betraktas som mer eller mindre välartikulerade hypoteser.

Skolverkets rapportering av undersökningarna innehåller inte några hypoteser eller försök till analyser av hållbarheten i olika förklaringar. De forskare som arbetade med den tidiga utvecklingen av de internationella studierna hade stora svårigheter i sina försök att dra slutsatser om orsakssamband, men i takt med att tillgången på data och avancerad analysteknik har förbättrats har också möjligheterna att pröva olika förklaringar förbättrats. Här följer några exempel på hur man kan gå till väga.

Som nämndes tidigare har man i flera undersökningar baserade på PISA-data funnit att länder med goda resultat också brukar ha likvärdiga utbildningssystem. Det vet vi genom att mäta skillnader i elevernas resultat, sambandet mellan föräldrarnas utbildningsnivå och elevernas utbildningsresultat och hur stor skolsegregationen är med avseende på elevernas sociala bakgrund. Att bara påvisa existensen av ett sådant samband räcker dock inte för att det ska vara möjligt att hävda att likvärdighet orsakar bättre resultat. Till exempel kan en god ekonomi samtidigt ge både likvärdig och effektiv utbildning, i stället för att det ena orsakar det andra. I analysen är det därför nödvändigt att kontrollera för sådana gemensamma egenskaper. Ett sätt att göra detta är att undersöka om förändring i likvärdighet har samband med förändring i effektivitet.

I de tabeller som publicerades i anslutning till PISA-rapporten finns information om likvärdighetsindikatorer från PISA 2006 och 2015, vilken kan kombineras med information om prestationer för de två åren. En av likvärdighetsindikatorerna är Index of social inclusion (ISI). Höga ISI-värden anger låg grad av skolsegregation (se diagram nedan).

Sambandet mellan resultatförbättring och minskad skolsegregation framträder tydligt i diagrammet – men det framgår också att resultaten påverkas av andra faktorer. Det är för övrigt intressant att notera att ett av de länder som har störst försämring av likvärdigheten är Finland, där resultaten försämrades mest mellan 2006 och 2015. Chile har störst förbättring av likvärdigheten och har också förbättrade resultat.

Under de senaste åren har ett stort antal lärare i grundskolan deltagit i Matematiklyftet. Det finns internationell forskning som visar att sådan kompetensutveckling ger goda effekter på elevernas skolresultat. Frågan är om det också gäller svenska lärares deltagande i kompetensutveckling. Vi undersökte detta genom att utnyttja TIMSS-elevernas bedömningar av undervisningskvaliteten och mäta det mot lärarnas deltagande i kompetensutveckling. Statistiska analyser gav stöd för att en del av den svenska poängförbättringen i TIMSS 2015 kan hänföras till kompetensutvecklingsinsatser.

TIMSS och PISA har i grunden samma syfte, men undersökningarna har olika utformning. Det är därför intressant att undersöka i vilken utsträckning resultaten är samstämmiga.

Forskare har funnit starka samband mellan ländernas medelresultat för TIMSS årskurs 8 och PISA år 2015. För matematik i årskurs 8 var sambandet 0,92 och för naturvetenskap var det 0,93 (1,0 innebär ett fullständigt samband). De högpresterande östasiatiska länderna (Hongkong, Japan, Sydkorea, Singapore och Taiwan) hade alla något bättre resultat i TIMSS än i PISA, medan de nordiska länderna och en del engelskspråkiga länder (Australien, Kanada, Irland och Nya Zeeland) hade bättre resultat i PISA än i TIMSS. Så det finns vissa systematiska skillnader.

Sverige ligger nu över oecd-snittet i läsförståelse Det är framför allt de lågpresterande eleverna som har blivit bättre på läsförståelse i den senaste mätningen. Flickorna har bättre resultat än pojkarna, men könsskillnaderna har minskat över tid.Utdrag ur PISA: ”Resultatskillnaderna mellan elever med inhemsk bakgrund och elever med utländsk bakgrund är större i Sverige än i övriga OECD.” Källa: PISA 2015, Skolverket

För de flesta länderna var förändringarna mellan 2011 och 2015 positiva för TIMSS, medan de var negativa för PISA mellan 2012 och 2015. Detta kan tolkas som en effekt av övergången till datoriserade prov för PISA 2015. OECD hävdar att detta inte haft någon effekt på provens mätegenskaper. Men det finns ytterligare indikationer på att det skett systematiska förändringar i provens egenskaper mellan 2012 och 2015. Av den svenska PISA-rapporten framgår exempelvis att flickornas försteg i läsresultaten minskat betydligt, såväl i Sverige som i OECD-länderna i övrigt, och det framstår som mer rimligt att dessa förändringar beror på förändrade egenskaper hos proven, än på faktiskt förändrade prestationsskillnader.

Minskad skolsegregation ger oftast bättre resultat Finland är ett av de länder som har den största försämringen av likvärdigheten mellan 2006 och 2015, och där finns också den största resultatförsämringen. Chile är det land som har störst förbättring av likvärdigheten, och där föreligger också en positiv resultatutveckling.Utdrag ur TIMSS: ”Sverige är ett av de länder i TIMSS 2015 där eleverna uttrycker att de värderar matematik och naturvetenskap lägst.” 

Resultatutveckling i naturvetenskap Sveriges uppgång beror främst på att de bästa eleverna har blivit bättre. De lågpresterande eleverna har inte förändrat sina resultat. Flickor och pojkar presterar ungefär lika bra. Källa: PISA 2015, Skolverket

Ett annat exempel är att medelvärdet för skillnaden mellan 2012 och 2015 för naturvetenskap i PISA, för de 24 länder som deltog i båda undersökningarna, är –7,0 poäng. Det är orimligt att förvänta sig en faktisk förändring av denna storleksordning för så många länder, i synnerhet som medelvärdet för skillnaden för TIMSS var +3,8 poäng. Skillnaden uppgår sålunda till nästan 11 poäng, och den rimligaste förklaringen till detta är att övergången till datorbaserad testning i PISA har gjort provet svårare.

En tendens till ökad svårighetsgrad finns även i matematikprovet, där PISA skattar förändringen mellan 2012 och 2015 till –2,9 poäng, medan TIMSS skattar förändringen mellan 2011 och 2015 till +5,2 poäng. PISA- och TIMSS-poängen är i huvudsak jämförbara, även om en TIMSS-poäng motsvarar något större kunskapsskillnad på grund av att skalan är mer hoptryckt.

De svenska PISA-resultaten förbättrades med 16 poäng i matematik, och med 9 poäng i naturvetenskap. Förändringen var statistiskt signifikant för matematik, men inte för naturvetenskap. Men om det förhåller sig så att PISA-provet i naturvetenskap blivit ett antal poäng svårare är resultatet för detta prov underskattat. Så slutsatsen att förbättringen skulle vara mindre i naturvetenskap än i matematik är förmodligen felaktig. Enligt TIMSS årskurs 8 var förbättringen 17 poäng i matematik och 13 poäng i naturvetenskap, vilket ger stöd för hypotesen att skillnaden mellan framstegen i matematik och naturvetenskap är små.

Trots de höga sambanden mellan ländernas PISA- och TIMSS-resultat finns det anledning att vara försiktig i tolkningen av förändringarna mellan de föregående mätningarna och 2015 års resultat. Detta gäller även resultaten för Sverige.

PISA och TIMSS har ett stort inflytande över den utbildningspolitiska diskussionen i Sverige, vilket inte minst manifesterade sig i mediernas upphaussning av både positiva och negativa resultatförväntningar under flera veckor innan resultaten presenterades. Detta extrema fokus är inte bara av godo, eftersom det tenderar att skymma andra viktiga frågor – och eftersom det skapar djupa klyftor mellan PISA-förnekare och PISA-troende.

Samtidigt är det uppenbart att samhället inte kan vara utan den information om kunskaps- och likvärdighetsutvecklingen i den grundläggande utbildningen som dessa undersökningar ger. Förhoppningsvis kommer den fortsatta utvecklingen att ske på ett mer balanserat sätt och med större fokus på hur informationen i undersökningarna kan användas för att förbättra utbildningen för alla elever.

Experterna svarar: Så ska den svenska skolan förbättras

Fråga: Vilka är de mest angelägna förändringarna som behövs i den svenska grundskolan?

Anna Sjögren, docent i nationalekonomi, utbildningsforskare vid IFAU.

1 | Vetenskaplighet

– Nya satsningar och arbetssätt i skolan måste kunna utvärderas. Då krävs en jämförbar kontrollgrupp, som inte fått samma behandling. De som implementerar politik på skolans område måste dessutom kunna visa hur förändringarna påverkar elevernas resultat på kort sikt. Visst kan vissa satsningar också ha långsiktiga effekter. Men förändringar i organisation, arbetssätt och undervisningsmetoder kan och ska utvärderas även på kort sikt. En termin är en stor andel av en elevs skolgång. Kvaliteten på undervisningen under en termin spelar därför roll för elevens lärande. Detta borde kunna mätas. Ett sådant synsätt måste få större genomslag, inte minst för att kunna avbryta satsningar som är kostsamma utan att förbättra elevresultaten.

2 | Likvärdighet och utvärdering

– Vi måste ha ett bedömningssystem för ökad likvärdighet och bättre möjligheter till utvärdering. Systemet ska bygga på externt rättade nationella prov och att betygen på skol- och klassnivå förankras i nationella provresultat. En sådan reform möjliggör och fordrar dessutom minskad detaljstyrning av betygskriterier och ett återupprättat förtroende för att lärare förmår göra en helhetsbedömning i sin betygssättning.

3 | Uppföljning av närvaro och skolplikt

– Systematisk uppföljning av elevnärvaro saknas på många skolor och nationell statistik saknas. Frånvaro, oavsett orsak, bidrar sannolikt till att elever hamnar på efterkälken och att undervisningen blir lidande.

4 | Resursfördelning

– Det behövs ett resursfördelningssystem som tar större hänsyn till elevernas förutsättningar.

5 | Minskad segregation

– Reglerna för antagning av elever vid skolval måste reformeras. Lotteri till populära skolor är mer likvärdigt än dagens kösystem. Modeller som stimulerar minskad skolsegregation bör testas och ansvar för mottagande av nyanlända bör delas i större utsträckning än i dag.

Jan-Eric Gustafsson, professor i pedagogik, ordförande i Skolkommissionen.

1 | Stärkta professioner

– Ett professionsprogram inrättas för lärare och skolledare, med olika kvalifikationsnivåer, utvecklingsspår och utvecklingssteg. Tydliga utvecklingsvägar och stärkt autonomi skapas för professionerna.

2 | Statlig närvaro

– Staten ger ett aktivt stöd nära huvudmännen. Alla huvudmän ska ha tillräcklig kapacitet för att till exempel kunna analysera sina brister och förbättringsbehov, styra resurser och genomföra kompetensutveckling.

3 | Minskad skolsegregation

– Staten ställer krav på att huvudmännen verkar för allsidig social sammansättning vid skolenheterna, på obligatoriskt skolval och öppnar för vissa vidgade möjligheter att ta hänsyn till den socioekonomiska elevsammansättningen i samband med placering och mottagande vid skolenhet.

4 | Förbättrad resursstyrning

– Staten stärker styrningen av resurserna, så att skillnader mellan huvudmän och skolor i elevunderlagens socioekonomiska sammansättning får betydligt större betydelse vid resurstilldelningen.

5 | Långsiktig skolpolitik

– En stark uppslutning i hela samhället bakom en långsiktig skolpolitik med professionen i högsätet. Bättre ömsesidigt förtroende mellan huvudmän, rektorer och lärare.

F&F i din mejlbox!

Håll dig uppdaterad med F&F:s nyhetsbrev!

Beställ nyhetsbrev

Mara Westling Allodi, professor i specialpedagogik, ordförande i Skolforskningsinstitutets vetenskapliga råd, medlem i Skolkommissionen.

1 | Tålamod

– För att skapa långsiktighet och hållbarhet i utbildningssystemet behövs ödmjukhet och ansvarsfullhet inför utbildningsväsendet och för barn och ungdomars utveckling och lärande. Utbildningssystemet ska ta tillvara på de resurser som finns och utveckla dem. Det innebär också att motarbeta orealistiska förväntningar, som att alla elever samtidigt ska stöpas i samma mall. Systemet måste vara flexibelt och anpassningsbart, och acceptera att det finns skillnader i elevernas mognad.

2 | Rättvisa – göra utsatta skolor attraktiva

– Ge mer resurser till undervisning och bättre fördelning i förhållande till behov. Belöna skolor och lärare som arbetar med de mest inkluderande uppgifterna, till exempel med elever i socialt utsatta områden. I dag kan skolor som har elever med hög risk att få svårigheter bli ensamt ansvariga för dem, ibland med samma resurser som skolor med mer privilegierade elever. Så ska det inte vara. Det är en demokratisk uppgift som tillhör hela utbildningssystemet och hela samhället. Dessa skolor måste sluta betraktas som förlorare på en skolmarknad, och i stället bli attraktiva arbetsplatser där man utvecklar pedagogiska innovationer.

3 | Erkänna bredden i målsättningar

– Det krävs fördjupad uppmärksamhet på, och uppföljning av, det breda spektrum av målsättningar som utbildningssystemet har. Det handlar inte bara om genomsnittliga elevresultat, utan även likvärdighet, sociala förmågor och värderingar samt välbefinnande och hälsa. Ett framgångsrikt utbildningssystem innehåller fler komponenter än enbart kunskapsresultat, och dessa ska uppmärksammas på samma sätt som andra mål.

4 | Effektivitet

– Stödinsatser för elever i behov av stöd måste bli mer effektiva. Svårigheter under de tidiga skolåren och i förskolan ska förebyggas. Saker som inte fungerar ska avvecklas och ersättas av åtgärder som ger effekt. Läroplanerna ska ses över, med hänsyn till kunskap och insikter från kognitionsvetenskap och utvecklingspsykologi.

5 | Stabilitet

– Skapa stabila skolor, där det utvecklas trygga och inspirerande relationer. Garantera ett tillräckligt och stabilt system för omfattande och kontinuerlig kunskapsutveckling, som kan komma lärarutbildningen och lärarprofessionen tillgodo.

Prenumerera på Forskning & Framsteg!

10 nummer om året och dagliga nyheter på webben med vetenskapligt grundad kunskap.

Beställ idag

Lena Adamson, docent i psykologi, direktör för Skolforskningsinstitutet.

1 | Öka likvärdigheten och minska segregationen

– Detta är de absolut mest angelägna frågorna, som vi alla borde vara allra mest oroade för – och allra mest samarbetsvilliga för att hjälpa till att lösa!

2 | Ökad kunskap om vad det innebär att arbeta på vetenskaplig grund

– Lärarutbildningen är en nyckelfaktor. Lärare ska inte ta examen utan att veta vad detta innebär och veta var de kan ta del av aktuell forskning som rör deras undervisningsuppdrag.

3 | Lärare ska vara både konsumenter och producenter av kunskap

– I den medicinska kliniska forskningen deltar läkare och andra yrkesgrupper som en nödvändig självklarhet, ofta i form av att ha dubbla roller och genom kombinationstjänster. Detta måste utvecklas och finansieras även på skolans område. Praktiknära skolforskning med tydligt fokus på elevernas utveckling och lärande behöver alltså utvecklas kraftigt. Detta gäller både forskningens innehåll och den metodologiska variationen.

4 | Skiljelinjen mellan skola, lärarutbildningen och forskningen på området behöver luckras upp väsentligt

– En professionsutbildning måste äga och utveckla sin egen kunskapsbas. Det gör inte lärarutbildningen i dag. Gör skolan till en del av lärarutbildningen.

Så skapades de stora skolundersökningarna

Internationella jämförande undersökningar av elevers kunskaper och färdigheter påbörjades under 1960-talet. Målet var att kunna jämföra resultat mellan olika utbildningssystem, och bättre förstå vilka faktorer som påverkar resultaten. The international association for the evaluation of educational achievement (IEA), där den svenske pedagogikprofessorn Torsten Husén var en drivande kraft under flera decennier, bildades som ett organisatoriskt paraply för en lång serie undersökningar inom ett brett spektrum av ämnen och årskurser. Vid sidan av kunskaper och färdigheter mättes attityder, intressen och förhållningssätt. Och genom frågeformulär till elever, föräldrar, lärare och skolledare kartlades undervisningen.

Även om dessa kartläggningar var mycket ambitiösa kunde de endast i mycket begränsad utsträckning förklara orsaksförhållanden. Eftersom de frågor man var intresserad av i hög grad var inriktade på kausala sammanhang, ledde detta till en omprövning av de jämförande studiernas inriktning. Det innebar större fokus på mätning och beskrivning av utbildningsutfall och mindre fokus på förklaring och teoriutveckling. Denna utveckling var också i samklang med den tyngdpunktsförskjutning från utbildningarnas förutsättningar till deras resultat, som blev tydlig under 1980-talet.

Detta var en av anledningarna till att antalet deltagande länder i de internationella undersökningarna ökade kraftigt under 1990-talet. Men ett annat skäl var också att undersökningskvaliteten ökade. År 1995 slogs de tidigare separata undersökningarna av matematik och naturvetenskap samman till en undersökning som fick namnet Third international mathematics and science study (TIMSS 1995). Den undersökte elever i årskurserna 4, 8 och sista året i gymnasiet. År 1999 upprepades TIMSS under beteckningen TIMSS-repeat. Uppgifter från TIMSS 1995 användes då tillsammans med nykonstruerade uppgifter, vilket gjorde det möjligt att undersöka resultatförändringar över tid inom länder. Det har medfört stora förbättringar i att använda och tolka resultaten. Efter 1999 har TIMSS upprepats ytterligare fyra gånger (2003, 2007, 2011 och 2015), och då med akronymen uttydd som Trends in international mathematics and science study.

År 2000 startade OECD sitt Program for international student assessment (PISA) i TIMSS kölvatten. PISA omfattar förutom matematik och naturvetenskap även läsning och fokuserar på 15-åriga elever. Undersökningen genomförs vart tredje år, vilket innebär att sex PISA-omgångar har genomförts mellan 2000 och 2015.

Vad är PISA och TIMSS?

TIMSS har fokus på innehållet i de deltagande ländernas läroplaner, och ambitionen är att undersökningsinstrumenten på denna grundval ska tillåta rättvisande jämförelser mellan olika länders undervisningsresultat. PISA bygger i stället på idén att pröva sådana kunskaper och färdigheter som antas vara viktiga för fortsatt lärande, yrkesliv och deltagande i samhällslivet. Tanken är också att PISA ska pröva underliggande kompetenser identifierade i forskning om lärande inom olika områden, och då i synnerhet i matematik.

PISA-proven innehåller ofta uppgifter med realistiska, verklighetsanknutna drag, och kräver ofta mycket läsning och längre skriftliga svar. TIMSS-proven innehåller mer avskalade uppgifter, som i högre utsträckning består av flervals- och kortsvarsfrågor. Antalet uppgifter är också betydligt större i TIMSS än i PISA. TIMSS genomförs fortfarande som ett papper och penna-prov. PISA började datoriseras år 2012, och sedan 2015 sker PISA-undersökningen via dator i de flesta länder. Det är en intressant fråga i vilken utsträckning detta har påverkat provets egenskaper.

Fokuseringen på skolans undervisning återspeglas också i den urvalsmodell som används i TIMSS. I ett första steg väljs skolor slumpmässigt, och i nästa steg väljs en eller flera hela klasser ut för att delta i undersökningen. Även i PISA väljs skolor i ett första steg, och i nästa steg väljs elever (i allmänhet cirka 30 stycken) slumpmässigt inom skolan. I TIMSS är urvalet bundet till bestämda årskurser (årskurs 4, 8 och det avslutande året i gymnasieskolan), medan PISA väljer de 15-åringar som deltar i utbildning. Dessa går då i allmänhet i någon av årskurserna 8–10.

PISA kräver obligatoriskt deltagande av OECD-länder.År 2015 deltog samtliga 35 OECD-länder. Därutöver deltog ett antal länder utanför OECD-gruppen. I TIMSS deltog omkring hälften av OECD-länderna, samt ett antal länder från Afrika, Asien och Mellanöstern.

Sammanfattningsvis fokuserar TIMSS på läroplaner och på undervisningen i hela klasser, där såväl lärare, skolledare som elever bidrar med information, medan PISA fokuserar mer på skolnivån och på ämnesövergripande kompetenser, där framför allt skolledare och elever är uppgiftslämnare. De tre ämnesområden som PISA mäter kan betraktas som en minsta gemensamma nämnare av intresse för de deltagande OECD-länderna. Visserligen har alla länder i sina utbildningssystem även omfattande undervisning inom språk, humaniora och praktisk-estetiska ämnen – men det har visat sig svårt att arrangera gemensamma jämförande studier inom dessa ämnesområden.

Jan-Eric Gustafsson

Jan-Eric Gustafsson är senior professor i pedagogik vid Göteborgs universitet och ordförande i Skolkommissionen. Han är ledamot i IEA:s Technical executive group och i Kungl. Vetenskapsakademien, där han är ordförande för arbetsgruppen Framtidens skola under Kommittén för skolfrågor.

Samhälle & kultur

Upptäck F&F:s arkiv!

Se alla utgåvor