PISA-resultat och ekonometriska modellspecifikationer

by
Lars Pålsson Syll
My articles My siteAbout meMy booksMy videos
Follow on:Twitter

Det är inte ofta som skillnader mellan olika ekonometriska modellspecifikationer skapar rubriker i media men när PISA-undersökningen släpptes för några veckor sedan hände just detta. Orsaken var att OECD hävdade att svenska friskolor presterade sämre än kommunala skolor medan Skolverket kommit fram till att skillnaden mellan offentliga och privata huvudmän var liten och statistiskt osignifikant. Eftersom det är samma datamaterial som används kan det vara värt att klargöra vari skillnaden mellan OECD:s och Skolverkets analyser består.

Sett till rena PISA-poäng så uppvisar friskolor bättre resultat än kommunala (kolumn 1 nedan). Resultatskillnader mellan skolor beror emellertid främst på vilka elever som går på skolorna och elevunderlaget skiljer sig markant mellan fristående och kommunala grundskolor. För att uttala sig om några mer djupgående skillnader i skolkvalitet måste därför hänsyn tas till elevunderlaget. I PISA-data finns ett index över elevernas sociala bakgrund (ESCS) samt indikatorer på deras eventuella utländska bakgrund som kan användas till detta syfte. En justering med hjälp av dylika indikatorer är bättre än inget, men de fångar knappast alla relevanta skillnader mellan elever; både barn till väletablerade diplomater och flyktingbarn med hackig skolgång bakom sig har ”utländsk bakgrund”. Även mellan elever med likartad social bakgrund finns en stor spridning i studieförmåga, motivation och intresse.

Skolverket justerar för elevernas bakgrund genom att ta hänsyn till ovan nämnda indikatorer på individnivå. Den konceptuella fråga som man då försöker besvara är om PISA-resultaten skiljer sig mellan friskolor och kommunala för jämförbara elever (givet då att de verkligen är jämförbara, vilket är tveksamt). Svaret är att skillnaderna är små och inte statistiskt signifikanta (kolumn 2). En tolkning av detta är att en elev kan förväntas uppnå samma resultat på en representativ kommunal skola som på en representativ friskola.

OECD nöjer sig i sin analys inte med att ta hänsyn till bakgrundsindikatorerna på elevnivå utan lägger till skolans genomsnittliga värden av samma indikatorer. När dessa läggs till modellen gör de fristående skolorna sämre ifrån sig än de kommunala (kolumn 3). De kommunala skolornas fördel i denna specifikation är nästan lika stor som deras nackdel i råa ojusterade data. Den skattade skillnaden är ungefär lika stor för PISA:s tre ämnesområden men bara statistiskt signifikant för matematik.

Den konceptuella frågan bakom OECD:s analys är om jämförbara elever presterar bättre eller sämre på fristående eller kommunala skolor som har jämförbara sociala förutsättningar. Ett alternativt sett att se på resultatet är därför att de fristående skolorna i PISA-undersökningen är sämre än de kommunala på att förvalta jämförbara elevunderlag.

Jonas Vlachos

För forskare, utbildningsanordnare och politiker har det självklart blivit intressant att försöka undersöka vilka konsekvenser friskolereformen från 1992 haft.

Men detta är inte något som är helt lätt att göra en sådan bedömning med tanke på hur mångfacetterade och vittomfattande de mål är som satts upp för skolverksamheten i Sverige är.

Ett vanligt mål som man fokuserat på är elevernas prestationer i form av uppnående av olika kunskapsnivåer, betyg och testresultat. När man genomförde friskolereformen var ett av de ofta framförda argumenten att friskolorna skulle höja elevernas kunskapsnivåer. De kvantitativa mått man använt för att göra dessa värderingar är genomgående betyg och/eller resultat på nationella prov och internationella tester typ PISA.

Vid en första anblick kan det kanske förefalla trivialt att göra sådana undersökningar. Det är väl bara att – kan det tyckas – plocka fram data och genomföra nödiga statistiska tester och regressioner. Riktigt så enkelt är det nu inte. I själva verket är det —  som Vlachos påpekar — väldigt svårt att få fram entydiga kausala svar på den här typen av frågor.

Ska man entydigt kunna visa att det föreligger effekter och att dessa är ett resultat av just friskolornas införande – och inget annat – måste man identifiera och därefter kontrollera för påverkan från alla ‘störande bakgrundsvariabler’ av typen föräldrars utbildning, socioekonomisk status, etnicitet, geografisk hemhörighet, religion m.m. – så att vi kan vara säkra på att det inte är skillnader i dessa variabler som är de i fundamental mening verkliga kausalt bakomliggande förklaringarna till eventuella genomsnittliga effektskillnader.

Idealt sett skulle vi, för att verkligen vinnlägga oss om att kunna göra en sådan kausalanalys, vilja genomföra ett experiment där vi plockar ut en grupp elever och låter dem gå i friskolor och efter en viss tid utvärderar effekterna på deras kunskapsnivåer. Sedan skulle vi vrida tillbaka klockan och låta samma grupp av elever istället gå i kommunala skolor och efter en viss tid utvärdera effekterna på deras kunskapsnivåer. Genom att på detta experimentvis kunna isolera och manipulera undersökningsvariablerna så att vi verkligen kan säkerställa den unika effekten av friskolor – och inget annat – skulle vi kunna få ett exakt svar på vår fråga. Tyvärr går dock sådana experiment aldrig går att genomföra i verkligheten. Så vad gör man?

Det i särklass vanligaste undersökningsförfarandet är – som i fallet med OECD och Skolverket – att man genomför en traditionell multipel regressionsanalys baserad på så kallade ‘minsta kvadrat’ eller ‘maximum likelihood’ skattningar av observationsdata, där man försöker ‘konstanthålla’ ett antal specificerade bakgrundsvariabler för att om möjligt kunna tolka regressionskoefficienterna i kausala termer. Vi vet att det föreligger risk för ett ‘selektionsproblem’ eftersom de elever som går på friskolor ofta skiljer sig från de som går på kommunala skolor vad avser flera viktiga bakgrundsvariabler, kan vi inte bara rakt av jämföra de två skolformerna kunskapsnivåer för att därur dra några säkra kausala slutsatser. Risken är överhängande att de eventuella skillnader vi finner och tror kan förklaras av skolformen, i själva verket helt eller delvis beror på skillnader i de bakomliggande variablerna (t.ex. bostadsområde, etnicitet, föräldrars utbildning, m.m.)

Ska man försöka sig på att sammanfatta de regressionsanalyser som genomförts är resultatet att de kausala effekter på elevers prestationer man tyckt sig kunna identifiera av friskolor genomgående är små och ofta inte ens statistiskt signifikanta på gängse signifikansnivåer. Till detta kommer också att osäkerhet råder om man verkligen kunnat konstanthålla alla relevanta bakgrundsvariabler och att därför de skattningar som gjorts ofta i praktiken är behäftade med otestade antaganden och en icke-försumbar osäkerhet och ‘bias’ som gör det svårt att ge en någorlunda entydig värdering av forskningsresultatens vikt och relevans. Enkelt uttryckt skulle man kunna säga att många – kanske de flesta – av de ‘effektstudier’ av detta slag som genomförts, inte lyckats skapa tillräckligt jämföra grupper, och att – eftersom detta strikt sett är absolut nödvändigt för att de statistiska analyser man de facto genomför ska kunna tolkas på det sätt man gör – värdet av analyserna därför är svårt att fastställa. Det innebär också – och här ska man även väga in möjligheten av att det kan föreligga andra och bättre alternativa modellspecifikationer  – att de ‘känslighetsanalyser’ forskare på området regelmässigt genomför, inte heller ger någon säker vägledning om hur pass ‘robusta’ de gjorda regressionsskattningarna egentligen är. Vidare är det stor risk för att de latenta, bakomliggande, ej specificerade variabler som representerar karakteristika som ej är uppmätta (intelligens, attityd, motivation m.m.) är korrelerade med de oberoende variabler som ingår i regressionsekvationerna och därigenom leder till ett problem med endogenitet. Till detta kan man väl också foga att de undersökningar som gjorts bara kan uttala sig om vad som gäller i genomsnitt. Bakom ett högt genomsnitt kan dölja sig flera svagpresterande enskilda skolor (elever) som vägs upp av några få högpresterande skolor (elever).