Evidensmonstret i svensk skola

by
Lars Pålsson Syll
My articles My siteAbout meMy booksMy videos
Follow on:Twitter

Evidensmonstret i svensk skola

Det går ett monster fram över det svenska utbildningssystemet — utvärderings- och evidensbaseringsmonstret. Med ökad betoning av resultatstyrning följer en strid ström av krav på att redovisa kvalitet och resultat. För att mätta uppdragsgivarnas hunger efter utvärderingsinformation tvingas skolan avsätta mer och mer resurser och tid för denna verksamhet. I stället för att lita på lärares professionella kompetens kräver den nya väckelserörelsens proselyter att vi ska kunna visa upp evidensbaserade framgångsrecept. Portfolios, utvecklingsplaner, kvalitetsredovisning, obligatoriska kursvärderingar m. m., tar numera upp en stor del av lärares och skoladministratörers arbetstid.

Detta är djupt problematiskt. Dels därför att utvärderingshysterin i många avseenden direkt motverkar sitt eget kvalitets- och effektivitetssyfte. Och dels därför att det inte finns någon genuint fungerande evidensteori som kan åberopas när vi överväger hur våra utbildningssystem bör se ut. De studier och teoriansatser som anförs saknar trovärdiga broslagningsprinciper från evidens till slutsats och är ofta så allmänt hållna att de helt saknar möjlighet att ge detaljerade anvisningar för hur vi ska uppnå framgång och excellens. Svensk skola hade tjänat på om dess huvudsakliga verksamhetsföreträdare främst ägnade sig åt kärnverksamheten att hjälpa unga människor lära sig saker och inte åt evidensbaserade utvärderingar med tvivelaktigt värde.

Sedan 10-15 år tillbaka har evidensbasering gjort sitt intåg i skolvärlden. Tanken är att skolan ska ta till sig och omsätta vad beprövad vetenskap visar fungera bra. Den metod som oftast lyfts fram som den mest tillförlitliga är så kallade randomiserade studier baserade på slumpmässigt urval av den typ som man exempelvis arbetat med inom klinisk medicin sedan flera decennier tillbaka.

Ett av problemen med den ansats som lyfter fram och ger en privilegierad status åt denna metod är att den sällan ställer den viktiga frågan om extern validitet. Tvärtemot vad förespråkarna genomgående vill ge sken av, så svarar inte de randomiserade studier som ligger till grund för evidensbaseringen på frågan ”Vad fungerar?”. Vad de möjligen ger svar på är frågan ”Vad fungerar i genomsnitt här?”. Om det som fungerade i A också visar sig fungera generellt eller här i B, är en helt annan fråga. Att något fungerar i genomsnitt är också många gånger av begränsat värde, eftersom vi ofta är mer intresserade av om det fungerar för oss. En behandling som innebär att 49% dör och 51% får ett bättre liv, är i de flesta sammanhang ingen god grund att göra policyval utifrån, även om genomsnittsvärdet är ”positivt”. Så när t ex Skolverket åberopar att ”det här har forskningen sett är gynnsamt” så stämmer detta inte alls i en strikt vetenskaplig mening.

Här behövs en ‘exportlicens’ för att vi ska kunna bedöma om studier baserade på en population går att överföra till en annan population. Kruxet är att ju ”säkrare” resultaten är av de slumpmässiga studierna (och de flesta andra liknande metoder), ju mer har man oftast också fått ”rigga” experimentsituationen och noga valt ut undersökningspopulationen, vilket i sin tur innebär att målpopulationen – där man avser införa den nya policyn, betygssystemet etc – med stor sannolikhet skiljer sig på avgörande punkter från undersökningspopulationen och de stickprov man tar ur denna när man genomför en slumpmässig studie.

Ett av de stora problemen med slumpmässiga studier är att de genom själva tillvägagångssättet — randomiseringen — så att säga blundar för alla de interaktioner som föreligger mellan olika variabler i studierna. Och inte nog med det. Slumpmässiga urval i sig gör att forskaren inte behöver känna till vilka dessa är för att göra en effektivitetsmätning. Men när resultaten ska ‘exporteras’ och dessa interaktioner kanske ser helt annorlunda ut, kan de resultera i att effekterna blir något helt annat än de avsedda.

Låt oss anta att man i en studie baserad på slumpmässigt urval visat att om man inför X (mindre skolklasser) så blir det förväntade utfallet Y (bättre betyg), men att man inte känner till att den obekanta variabeln B (engagerade och kompetenta lärare) interagerar med variabeln X. Om man lyckats genomföra en perfekt slumpmässighet kommer fördelningen av B vara densamma i försöks- och kontrollgrupperna — men då ‘maskeras’ också B:s inverkan på Y och tillskrivs helt och hållet i stället X. Försök med mindre skolklasser har inte alls fått de positiva effekter man förväntat sig, därför att den kausala faktorn inte är mindre klasser utan interaktionseffekten av mindre klasseer och engagerade och kompetenta lärare. Istället för att se att det verkliga kausala sambandet är BX => Y, förleds man tro att det är X => Y. Man förväxlar att X är en nödvändig orsak till Y med att det är en tillräcklig orsak till Y (vilket i samhälleliga sammanhang nästintill aldrig är fallet). Vilket leder till att man kanske är helt okunnig om att det är B som är den avgörande faktorn och alltså är det man borde satsa på och inte X!

Även om slumpmässiga urval kan vara ett utmärkt sätt att neutralisera bakomliggande variabler så kommer det till ett högt pris – det gör oss ouppmärksamma på att det kan finnas andra interagerande och bakomliggande faktorer som skapar en interaktionseffekt. Utan dessa (B) blir effekten av behandlingen (X) mindre eller uteblir kanske helt.

I bästa fall är evidens som bygger på slumpmässiga urval något som kan ge tips om möjliga policyinterventioner med positiva effekter. I värsta fall fullständigt vilseledande och med katastrofala följder.