Proven ger en kluven bild av den svenska skolan

I slutet av 2016 fick svenska folket svar på den fråga som hängt i luften under flera år: Hur går det med skolan? Till skillnad från den nationella depression som drabbade landet efter utförslöpan i PISA 2012, fanns nu så tydliga indikationer på förbättringar att många drog en lättnadens suck. Det finns anledning att glädjas över uppgången i de svenska elevernas medelresultat i matematik och naturvetenskap. Men det faktum att både PISA och TIMSS visar att likvärdigheten i utbildningsresultaten försämrats är bekymmersamt, i synnerhet som detta innebär en fortsättning av en långvarig trend. Det är också ett förvånande resultat, eftersom det enligt analyser av tidigare PISA-omgångar är vanligt att goda medelresultat för ett land hänger samman med en hög grad av likvärdighet.

Det är svårt att dra nytta av resultaten från de internationella undersökningarna om det inte också finns bra förklaringar till vad som orsakat de olika utfallen. I den diskussion som följt på publiceringen av PISA- och TIMSS-resultaten saknas inte heller bestämda besked från tidningarnas ledarredaktioner och utbildningspolitikerna om vilka reformer som har orsakat de förbättrade resultaten. Någon egentlig underbyggnad har dessa besked dock inte, så de får betraktas som mer eller mindre välartikulerade hypoteser.

Skolverkets rapportering av undersökningarna innehåller inte några hypoteser eller försök till analyser av hållbarheten i olika förklaringar. De forskare som arbetade med den tidiga utvecklingen av de internationella studierna hade stora svårigheter i sina försök att dra slutsatser om orsakssamband, men i takt med att tillgången på data och avancerad analysteknik har förbättrats har också möjligheterna att pröva olika förklaringar förbättrats. Här följer några exempel på hur man kan gå till väga.

Som nämndes tidigare har man i flera undersökningar baserade på PISA-data funnit att länder med goda resultat också brukar ha likvärdiga utbildningssystem. Det vet vi genom att mäta skillnader i elevernas resultat, sambandet mellan föräldrarnas utbildningsnivå och elevernas utbildningsresultat och hur stor skolsegregationen är med avseende på elevernas sociala bakgrund. Att bara påvisa existensen av ett sådant samband räcker dock inte för att det ska vara möjligt att hävda att likvärdighet orsakar bättre resultat. Till exempel kan en god ekonomi samtidigt ge både likvärdig och effektiv utbildning, i stället för att det ena orsakar det andra. I analysen är det därför nödvändigt att kontrollera för sådana gemensamma egenskaper. Ett sätt att göra detta är att undersöka om förändring i likvärdighet har samband med förändring i effektivitet.

I de tabeller som publicerades i anslutning till PISA-rapporten finns information om likvärdighetsindikatorer från PISA 2006 och 2015, vilken kan kombineras med information om prestationer för de två åren. En av likvärdighetsindikatorerna är Index of social inclusion (ISI). Höga ISI-värden anger låg grad av skolsegregation (se diagram nedan).

Sambandet mellan resultatförbättring och minskad skolsegregation framträder tydligt i diagrammet – men det framgår också att resultaten påverkas av andra faktorer. Det är för övrigt intressant att notera att ett av de länder som har störst försämring av likvärdigheten är Finland, där resultaten försämrades mest mellan 2006 och 2015. Chile har störst förbättring av likvärdigheten och har också förbättrade resultat.

Under de senaste åren har ett stort antal lärare i grundskolan deltagit i Matematiklyftet. Det finns internationell forskning som visar att sådan kompetensutveckling ger goda effekter på elevernas skolresultat. Frågan är om det också gäller svenska lärares deltagande i kompetensutveckling. Vi undersökte detta genom att utnyttja TIMSS-elevernas bedömningar av undervisningskvaliteten och mäta det mot lärarnas deltagande i kompetensutveckling. Statistiska analyser gav stöd för att en del av den svenska poängförbättringen i TIMSS 2015 kan hänföras till kompetensutvecklingsinsatser.

TIMSS och PISA har i grunden samma syfte, men undersökningarna har olika utformning. Det är därför intressant att undersöka i vilken utsträckning resultaten är samstämmiga.

Forskare har funnit starka samband mellan ländernas medelresultat för TIMSS årskurs 8 och PISA år 2015. För matematik i årskurs 8 var sambandet 0,92 och för naturvetenskap var det 0,93 (1,0 innebär ett fullständigt samband). De högpresterande östasiatiska länderna (Hongkong, Japan, Sydkorea, Singapore och Taiwan) hade alla något bättre resultat i TIMSS än i PISA, medan de nordiska länderna och en del engelskspråkiga länder (Australien, Kanada, Irland och Nya Zeeland) hade bättre resultat i PISA än i TIMSS. Så det finns vissa systematiska skillnader.

För de flesta länderna var förändringarna mellan 2011 och 2015 positiva för TIMSS, medan de var negativa för PISA mellan 2012 och 2015. Detta kan tolkas som en effekt av övergången till datoriserade prov för PISA 2015. OECD hävdar att detta inte haft någon effekt på provens mätegenskaper. Men det finns ytterligare indikationer på att det skett systematiska förändringar i provens egenskaper mellan 2012 och 2015. Av den svenska PISA-rapporten framgår exempelvis att flickornas försteg i läsresultaten minskat betydligt, såväl i Sverige som i OECD-länderna i övrigt, och det framstår som mer rimligt att dessa förändringar beror på förändrade egenskaper hos proven, än på faktiskt förändrade prestationsskillnader.

Ett annat exempel är att medelvärdet för skillnaden mellan 2012 och 2015 för naturvetenskap i PISA, för de 24 länder som deltog i båda undersökningarna, är –7,0 poäng. Det är orimligt att förvänta sig en faktisk förändring av denna storleksordning för så många länder, i synnerhet som medelvärdet för skillnaden för TIMSS var +3,8 poäng. Skillnaden uppgår sålunda till nästan 11 poäng, och den rimligaste förklaringen till detta är att övergången till datorbaserad testning i PISA har gjort provet svårare.

En tendens till ökad svårighetsgrad finns även i matematikprovet, där PISA skattar förändringen mellan 2012 och 2015 till –2,9 poäng, medan TIMSS skattar förändringen mellan 2011 och 2015 till +5,2 poäng. PISA- och TIMSS-poängen är i huvudsak jämförbara, även om en TIMSS-poäng motsvarar något större kunskapsskillnad på grund av att skalan är mer hoptryckt.

De svenska PISA-resultaten förbättrades med 16 poäng i matematik, och med 9 poäng i naturvetenskap. Förändringen var statistiskt signifikant för matematik, men inte för naturvetenskap. Men om det förhåller sig så att PISA-provet i naturvetenskap blivit ett antal poäng svårare är resultatet för detta prov underskattat. Så slutsatsen att förbättringen skulle vara mindre i naturvetenskap än i matematik är förmodligen felaktig. Enligt TIMSS årskurs 8 var förbättringen 17 poäng i matematik och 13 poäng i naturvetenskap, vilket ger stöd för hypotesen att skillnaden mellan framstegen i matematik och naturvetenskap är små.

Trots de höga sambanden mellan ländernas PISA- och TIMSS-resultat finns det anledning att vara försiktig i tolkningen av förändringarna mellan de föregående mätningarna och 2015 års resultat. Detta gäller även resultaten för Sverige.

PISA och TIMSS har ett stort inflytande över den utbildningspolitiska diskussionen i Sverige, vilket inte minst manifesterade sig i mediernas upphaussning av både positiva och negativa resultatförväntningar under flera veckor innan resultaten presenterades. Detta extrema fokus är inte bara av godo, eftersom det tenderar att skymma andra viktiga frågor – och eftersom det skapar djupa klyftor mellan PISA-förnekare och PISA-troende.

Samtidigt är det uppenbart att samhället inte kan vara utan den information om kunskaps- och likvärdighetsutvecklingen i den grundläggande utbildningen som dessa undersökningar ger. Förhoppningsvis kommer den fortsatta utvecklingen att ske på ett mer balanserat sätt och med större fokus på hur informationen i undersökningarna kan användas för att förbättra utbildningen för alla elever.

Fråga: Vilka är de mest angelägna förändringarna som behövs i den svenska grundskolan?

Anna Sjögren, docent i nationalekonomi, utbildningsforskare vid IFAU.

1 | Vetenskaplighet

– Nya satsningar och arbetssätt i skolan måste kunna utvärderas. Då krävs en jämförbar kontrollgrupp, som inte fått samma behandling. De som implementerar politik på skolans område måste dessutom kunna visa hur förändringarna påverkar elevernas resultat på kort sikt. Visst kan vissa satsningar också ha långsiktiga effekter. Men förändringar i organisation, arbetssätt och undervisningsmetoder kan och ska utvärderas även på kort sikt. En termin är en stor andel av en elevs skolgång. Kvaliteten på undervisningen under en termin spelar därför roll för elevens lärande. Detta borde kunna mätas. Ett sådant synsätt måste få större genomslag, inte minst för att kunna avbryta satsningar som är kostsamma utan att förbättra elevresultaten.

2 | Likvärdighet och utvärdering

– Vi måste ha ett bedömningssystem för ökad likvärdighet och bättre möjligheter till utvärdering. Systemet ska bygga på externt rättade nationella prov och att betygen på skol- och klassnivå förankras i nationella provresultat. En sådan reform möjliggör och fordrar dessutom minskad detaljstyrning av betygskriterier och ett återupprättat förtroende för att lärare förmår göra en helhetsbedömning i sin betygssättning.

3 | Uppföljning av närvaro och skolplikt

– Systematisk uppföljning av elevnärvaro saknas på många skolor och nationell statistik saknas. Frånvaro, oavsett orsak, bidrar sannolikt till att elever hamnar på efterkälken och att undervisningen blir lidande.

4 | Resursfördelning

– Det behövs ett resursfördelningssystem som tar större hänsyn till elevernas förutsättningar.

5 | Minskad segregation

– Reglerna för antagning av elever vid skolval måste reformeras. Lotteri till populära skolor är mer likvärdigt än dagens kösystem. Modeller som stimulerar minskad skolsegregation bör testas och ansvar för mottagande av nyanlända bör delas i större utsträckning än i dag.

Jan-Eric Gustafsson, professor i pedagogik, ordförande i Skolkommissionen.

1 | Stärkta professioner

– Ett professionsprogram inrättas för lärare och skolledare, med olika kvalifikationsnivåer, utvecklingsspår och utvecklingssteg. Tydliga utvecklingsvägar och stärkt autonomi skapas för professionerna.

2 | Statlig närvaro

– Staten ger ett aktivt stöd nära huvudmännen. Alla huvudmän ska ha tillräcklig kapacitet för att till exempel kunna analysera sina brister och förbättringsbehov, styra resurser och genomföra kompetensutveckling.

3 | Minskad skolsegregation

– Staten ställer krav på att huvudmännen verkar för allsidig social sammansättning vid skolenheterna, på obligatoriskt skolval och öppnar för vissa vidgade möjligheter att ta hänsyn till den socioekonomiska elevsammansättningen i samband med placering och mottagande vid skolenhet.

4 | Förbättrad resursstyrning

– Staten stärker styrningen av resurserna, så att skillnader mellan huvudmän och skolor i elevunderlagens socioekonomiska sammansättning får betydligt större betydelse vid resurstilldelningen.

5 | Långsiktig skolpolitik

– En stark uppslutning i hela samhället bakom en långsiktig skolpolitik med professionen i högsätet. Bättre ömsesidigt förtroende mellan huvudmän, rektorer och lärare.

Mara Westling Allodi, professor i specialpedagogik, ordförande i Skolforskningsinstitutets vetenskapliga råd, medlem i Skolkommissionen.

1 | Tålamod

– För att skapa långsiktighet och hållbarhet i utbildningssystemet behövs ödmjukhet och ansvarsfullhet inför utbildningsväsendet och för barn och ungdomars utveckling och lärande. Utbildningssystemet ska ta tillvara på de resurser som finns och utveckla dem. Det innebär också att motarbeta orealistiska förväntningar, som att alla elever samtidigt ska stöpas i samma mall. Systemet måste vara flexibelt och anpassningsbart, och acceptera att det finns skillnader i elevernas mognad.

2 | Rättvisa – göra utsatta skolor attraktiva

– Ge mer resurser till undervisning och bättre fördelning i förhållande till behov. Belöna skolor och lärare som arbetar med de mest inkluderande uppgifterna, till exempel med elever i socialt utsatta områden. I dag kan skolor som har elever med hög risk att få svårigheter bli ensamt ansvariga för dem, ibland med samma resurser som skolor med mer privilegierade elever. Så ska det inte vara. Det är en demokratisk uppgift som tillhör hela utbildningssystemet och hela samhället. Dessa skolor måste sluta betraktas som förlorare på en skolmarknad, och i stället bli attraktiva arbetsplatser där man utvecklar pedagogiska innovationer.

3 | Erkänna bredden i målsättningar

– Det krävs fördjupad uppmärksamhet på, och uppföljning av, det breda spektrum av målsättningar som utbildningssystemet har. Det handlar inte bara om genomsnittliga elevresultat, utan även likvärdighet, sociala förmågor och värderingar samt välbefinnande och hälsa. Ett framgångsrikt utbildningssystem innehåller fler komponenter än enbart kunskapsresultat, och dessa ska uppmärksammas på samma sätt som andra mål.

4 | Effektivitet

– Stödinsatser för elever i behov av stöd måste bli mer effektiva. Svårigheter under de tidiga skolåren och i förskolan ska förebyggas. Saker som inte fungerar ska avvecklas och ersättas av åtgärder som ger effekt. Läroplanerna ska ses över, med hänsyn till kunskap och insikter från kognitionsvetenskap och utvecklingspsykologi.

5 | Stabilitet

– Skapa stabila skolor, där det utvecklas trygga och inspirerande relationer. Garantera ett tillräckligt och stabilt system för omfattande och kontinuerlig kunskapsutveckling, som kan komma lärarutbildningen och lärarprofessionen tillgodo.

Lena Adamson, docent i psykologi, direktör för Skolforskningsinstitutet.

1 | Öka likvärdigheten och minska segregationen

– Detta är de absolut mest angelägna frågorna, som vi alla borde vara allra mest oroade för – och allra mest samarbetsvilliga för att hjälpa till att lösa!

2 | Ökad kunskap om vad det innebär att arbeta på vetenskaplig grund

– Lärarutbildningen är en nyckelfaktor. Lärare ska inte ta examen utan att veta vad detta innebär och veta var de kan ta del av aktuell forskning som rör deras undervisningsuppdrag.

3 | Lärare ska vara både konsumenter och producenter av kunskap

– I den medicinska kliniska forskningen deltar läkare och andra yrkesgrupper som en nödvändig självklarhet, ofta i form av att ha dubbla roller och genom kombinationstjänster. Detta måste utvecklas och finansieras även på skolans område. Praktiknära skolforskning med tydligt fokus på elevernas utveckling och lärande behöver alltså utvecklas kraftigt. Detta gäller både forskningens innehåll och den metodologiska variationen.

4 | Skiljelinjen mellan skola, lärarutbildningen och forskningen på området behöver luckras upp väsentligt

– En professionsutbildning måste äga och utveckla sin egen kunskapsbas. Det gör inte lärarutbildningen i dag. Gör skolan till en del av lärarutbildningen.