by Är randomisering verkligen svaret på nationalekonomins alla frågor? Med årets ‘Nobelpris’ i ekonomi har fokus i den internationella ekonomidebatten kommit att handla mycket om hypen kring randomiseringsdesign i modern samhällsvetenskap. Detta är bra och ett ypperligt tillfälle att också ventilera några kritiska synpunkter — här med utgångspunkt från ett kapitel i boken Nationalekonomins frågor (2017) där effektutvärderingar inom samhällsvetenskaplig forskning presenteras — på de ofta överdrivna anspråken som ‘randomistas’ som Duflo, Banerjee och Kremer reser. En ny trend inom nationalekonomin sedan ett par decennier är att man i allt större utsträckning kommit att intressera sig för experiment och — inte minst — hur dessa ska designas för att om möjligt
Topics:
Lars Pålsson Syll considers the following as important: Economics
This could be interesting, too:
Lars Pålsson Syll writes Daniel Waldenströms rappakalja om ojämlikheten
Peter Radford writes AJR, Nobel, and prompt engineering
Lars Pålsson Syll writes MMT explained
Lars Pålsson Syll writes Statens finanser funkar inte som du tror
Är randomisering verkligen svaret på nationalekonomins alla frågor?
Med årets ‘Nobelpris’ i ekonomi har fokus i den internationella ekonomidebatten kommit att handla mycket om hypen kring randomiseringsdesign i modern samhällsvetenskap. Detta är bra och ett ypperligt tillfälle att också ventilera några kritiska synpunkter — här med utgångspunkt från ett kapitel i boken Nationalekonomins frågor (2017) där effektutvärderingar inom samhällsvetenskaplig forskning presenteras — på de ofta överdrivna anspråken som ‘randomistas’ som Duflo, Banerjee och Kremer reser.
En ny trend inom nationalekonomin sedan ett par decennier är att man i allt större utsträckning kommit att intressera sig för experiment och — inte minst — hur dessa ska designas för att om möjligt ge svar på frågor om orsakssammanhang och policyeffekter. En vanlig utgångspunkt är den av främst Neyman och Rubin utarbetade ‘kontrafaktiska ansatsen’, som här presenteras och diskuteras med utgångspunkt i exempel på randomiserade kontrollstudier, naturliga experiment, ‘difference in difference’, matchning, ‘regression discontinuity’, m m.
Genomgående ställer sig författaren till kapitlet i boken — i likhet med andra nutida ‘randomistas’ — positiv till utvecklingen. Några kritikpunkter tas upp — de flesta välkända och mest formulerade i termer av bristande spatio-temporal ‘generaliserbarhet’ — men på det stora hela ger framställningen en entydigt positiv bild av utvecklingen.
En påtaglig begränsning — och som knappt berörs av författaren — med kontrafaktiska randomiseringsdesigner är att de bara ger oss svar på hur ‘behandlingsgrupper’ i genomsnitt skiljer sig från ‘kontrollgrupper’. Låt mig ta ett exempel för att belysa hur begränsande detta faktum kan vara:
Ibland hävdas det bland skoldebattörer och politiker att friskolor skulle vara bättre än kommunala skolor. De sägs leda till bättre resultat. För att ta reda på om det verkligen förhåller sig så väljs slumpmässigt ett antal högstadieelever ut som får skriva ett prov. Resultatet skulle då kunna bli: Provresultat = 20 + 5*T, där T=1 om eleven går i friskola, och T=0 om eleven går i kommunal skola. Detta skulle innebära att man får bekräftat antagandet — friskoleelever har i genomsnitt 5 poäng högre resultat än elever på kommunala skolor. Nu är ju politiker (förhoppningsvis) inte dummare än att de är medvetna om att detta statistiska resultat inte kan tolkas i kausala termer eftersom elever som går på friskolor typiskt inte har samma bakgrund (socio-ekonomiskt, utbildningsmässigt, kulturellt etc) som de som går på kommunala skolor (relationen skolform-resultat är ‘confounded’ via ‘selection bias’). För att om möjligt få ett bättre mått på skolformens kausala effekter väljer politiker föreslå att man via lottning — ett klassikt exempel på randomiseringsdesign vid ‘naturliga experiment’ — gör det möjligt för 1000 högstadieelever att bli antagna till en friskola. ‘Vinstchansen’ är 10%, så 100 elever får denna möjlighet. Av dessa antar 20 erbjudandet att gå i friskola. Av de 900 lotterideltagare som inte ‘vinner’ väljer 100 att gå i friskola. Lotteriet uppfattas ofta av skolforskare som en ’instrumentalvariabel’ och när man så genomför analysen visar sig resultatet bli: Provresultat = 20 + 2*T. Detta tolkas standardmässigt som att man nu har fått ett kausalt mått på hur mycket bättre provresultat högstadieelever i genomsnitt skulle få om de istället för att gå på kommunala skolor skulle välja att gå på friskolor. Men stämmer det? Nej! Om inte alla skolelever har exakt samma provresultat (vilket väl får anses vara ett väl långsökt ‘homogenitetsantagande’) så gäller den angivna genomsnittliga kausala effekten bara de elever som väljer att gå på friskola om de ’vinner’ i lotteriet, men som annars inte skulle välja att gå på en friskola (på statistikjargong kallar vi dessa ’compliers’). Att denna grupp elever skulle vara speciellt intressant i det här exemplet är svårt att se med tanke på att den genomsnittliga kausala effekten skattad med hjälp av instrumentalvariabeln inte säger någonting alls om effekten för majoriteten (de 100 av 120 som väljer en friskola utan att ha ‘vunnit’ i lotteriet) av de som väljer att gå på en friskola.
Slutsats: forskare måste vara mycket mer försiktiga med att tolka ‘genomsnittsskattningar’ som kausala. Verkligheten uppvisar en hög grad av heterogenitet. Och då säger oss ‘genomsnittsparametrar’ i regel nästintill inget alls!
Att randomisera betyder idealt att vi uppnår ortogonalitet (oberoende) i våra modeller. Men det innebär inte att vi i verkliga experiment när vi randomiserar uppnår detta ideal. Den ‘balans’ som randomiseringen idealt ska resultera i går inte att ta för given när idealet omsättas i verklighet. Här måste man argumentera och kontrollera att ’tilldelningsmekanismen’ verkligen är stokastisk och att ‘balans’ verkligen uppnåtts!
Även om vi accepterar begränsningen i att bara kunna säga något om genomsnittliga kausala effekter (‘average treatment effects’) föreligger ett annat teoretiskt problem. Ett idealt randomiserat experiment förutsätter att man först väljer (‘selection’) ett antal personer från en slumpmässigt vald population och sedan delar in (‘assignment’) dessa peersoner slumpmässigt i en ‘behandlingsgrupp’ respektive ‘kontrollgrupp’. Givet att man lyckas genomföra både ‘selection’ och ‘assignment’ slumpmässigt kan man visa tt förväntningsvärdet av utfallsskillnaderna mellan de båda grupperna är den genomsnittliga kausala effekten i populationen. Kruxet är bara att de experiment som genomförs nästan aldrig bygger på att deltagare i experiment är valda ur en slumpmässig population! I de flesta fall startas experiment för att det i en given population (exemplevis skolelever eller arbetssökande i landet X) föreligger ett problem av något slag som man vill åtgärda. Ett idealt randomiserat experiment förutsätter att både ‘selection’ och ‘ assignment’ är randomiserade — detta innebär att i princip inga av de empiriska resultat som randomiseringsföreträdare idag så ivrigt prisar håller i strikt matematisk-statistisk mening. Att det bara talas om randomisering i ‘assignment’fasen är knappast någon tillfällighet. När det gäller ‘som om’ randomisering i ‘naturliga experiment’ tillkommer dessutom det trista — men ofrånkomliga — faktum att det alltid kan föreligga beroende mellan de undersökta variablerna och icke-observerbara faktorer i feltermen, vilket aldrig går att testa!
Ett annat påtagligt och stort problem är att forskare som använder sig av de här på randomisering grundade forskningsstrategierna genomgående för att nå ‘exakta’ och ‘precisa’ resultat ställer upp problemformuleringar som inte alls är de vi verkligen skulle vilja få svar på. Designen blir huvudsaken och bara man får mer eller mindre snillrika experiment på plats tror man sig kunna dra långtgående slutsatser om både kausalitet och att kunna generalisera experimentutfallen till större populationer. Tyvärr innebär detta oftast att den här typen av forskning får en negativ förskjutning bort från intressanta och viktiga problem till att istället prioritera metodval. Design och forskningsplanering är viktigt, men forskningens trovärdighet handlar ändå i grund och botten om kunna ge svar på relevanta frågor vi som både medborgare och forskare vill få svar på.