Nobelpriset i ekonomi är nykolonialt!

by
Lars Pålsson Syll
My articles My siteAbout meMy booksMy videos
Follow on:Twitter

Nobelpriset i ekonomi är nykolonialt!

I år har priset tilldelats tre forskare verksamma vid universitet i USA, Esther Duflo, Abhijit Banerjee och Michael Kremer som har fått priset för sin forskningsmetod som kallas ”randomiserade kontrollförsök” …

Men i det internationella vetenskapssamhället har det lagts fram en hel del kritik mot denna metod och årets pristagare. Exempelvis har man pekat på de etiska aspekterna när man experimenterar med människor, metodens tillförlitlighet och ifall det alls går att faktiskt genomföra de resultat som metoden kommer fram till på nationell nivå. För egen del instämmer jag med det mesta i denna kritik, men vill lägga till ett problem som inte uppmärksammats i den svenska rapporteringen om priset. Det handlar om att det finns en stark nykolonial tendens i forskningen …

Forskarna inom detta område beskriver ofta fattigdomsproblemet inte som en effekt av bristande politisk jämlikhet utan som orsakat av att fattiga människor inte förmår inse sitt eget bästa och agera rationellt. De fattiga är för kortsiktiga och faller för allehanda irrationella frestelser vad gäller sina konsumtionsval. Ett problem i denna forskning är att de som lottas att tillhöra ”behandlingsgruppen” i experimentet erhåller någon förmån eller subsidie som de som tillhör kontrollgruppen blir utan. I vissa fall kan det handla om livsviktiga saker som medicin, vaccinationer eller tillgång till rent vatten. Vad gäller synen på om detta är etiskt försvarbart eller rättvist anför två av pristagarna att fattiga människor i u-länder ”ofta är vana vid sådan godtycklighet” att de inte tycker det är problem att bli bortlottade. Det vill säga, man är så van att bli orättvist behandlad att man accepterar sin otur med lottningen i dessa experiment.

En kan tyckas något patroniserande, för att inte säga nykolonial, inställning till de människor man forskar om.

Bo Rothstein / GP

Som yours truly själv har påpekat vid flera tillfällen — se t ex här — finns det även stora vetenskapliga brister i den forskning som bedrivs av randomseringsförespråkare inom modern samhällsvetenskap.

En sådan påtaglig brist i kontrafaktiska randomiseringsdesigner är att de bara ger oss svar på hur ‘behandlingsgrupper’ i genomsnitt skiljer sig från ‘kontrollgrupper’. Låt mig ge ett exempel för att belysa hur begränsande detta faktum kan vara:

Ibland hävdas det bland skoldebattörer och politiker att friskolor skulle vara bättre än kommunala skolor. De sägs leda till bättre resultat. För att ta reda på om det verkligen förhåller sig så väljs slumpmässigt ett antal högstadieelever ut som får skriva ett prov. Resultatet skulle då kunna bli: Provresultat = 20 + 5*T, där T=1 om eleven går i friskola, och T=0 om eleven går i kommunal skola. Detta skulle innebära att man får bekräftat antagandet — friskoleelever har i genomsnitt 5 poäng högre resultat än elever på kommunala skolor. Nu är ju politiker (förhoppningsvis) inte dummare än att de är medvetna om att detta statistiska resultat inte kan tolkas i kausala termer eftersom elever som går på friskolor typiskt inte har samma bakgrund (socio-ekonomiskt, utbildningsmässigt, kulturellt etc) som de som går på kommunala skolor (relationen skolform-resultat är ‘confounded’ via ‘selection bias’). För att om möjligt få ett bättre mått på skolformens kausala effekter väljer politiker föreslå att man via lottning — ett klassikt exempel på randomiseringsdesign vid ‘naturliga experiment’ — gör det möjligt för 1000 högstadieelever att bli antagna till en friskola. ‘Vinstchansen’ är 10%, så 100 elever får denna möjlighet. Av dessa antar 20 erbjudandet att gå i friskola. Av de 900 lotterideltagare som inte ‘vinner’ väljer 100 att gå i friskola. Lotteriet uppfattas ofta av skolforskare som en ’instrumentalvariabel’ och när man så genomför analysen visar sig resultatet bli: Provresultat = 20 + 2*T. Detta tolkas standardmässigt som att man nu har fått ett kausalt mått på hur mycket bättre provresultat högstadieelever i genomsnitt skulle få om de istället för att gå på kommunala skolor skulle välja att gå på friskolor. Men stämmer det? Nej! Om inte alla skolelever har exakt samma provresultat (vilket väl får anses vara ett väl långsökt ‘homogenitetsantagande’) så gäller den angivna genomsnittliga kausala effekten bara de elever som väljer att gå på friskola om de ’vinner’ i lotteriet, men som annars inte skulle välja att gå på en friskola (på statistikjargong kallar vi dessa ’compliers’). Att denna grupp elever skulle vara speciellt intressant i det här exemplet är svårt att se med tanke på att den genomsnittliga kausala effekten skattad med hjälp av instrumentalvariabeln inte säger någonting alls om effekten för majoriteten (de 100 av 120 som väljer en friskola utan att ha ‘vunnit’ i lotteriet) av de som väljer att gå på en friskola.

Slutsats: forskare måste vara mycket mer försiktiga med att tolka ‘genomsnittsskattningar’ som kausala. Verkligheten uppvisar en hög grad av heterogenitet. Och då säger oss ‘genomsnittsparametrar’ i regel nästintill inget alls!

Att randomisera betyder idealt att vi uppnår ortogonalitet (oberoende) i våra modeller. Men det innebär inte att vi i verkliga experiment när vi randomiserar uppnår detta ideal. Den ‘balans’ som randomiseringen idealt ska resultera i går inte att ta för given när idealet omsättas i verklighet. Här måste man argumentera och kontrollera att ’tilldelningsmekanismen’ verkligen är stokastisk och att ‘balans’ verkligen uppnåtts!

Även om vi accepterar begränsningen i att bara kunna säga något om genomsnittliga kausala effekter (‘average treatment effects’) föreligger ett annat teoretiskt problem. Ett idealt randomiserat experiment förutsätter att man först väljer (‘selection’) ett antal personer från en slumpmässigt vald population och sedan delar in (‘assignment’) dessa personer slumpmässigt i en ‘behandlingsgrupp’ respektive ‘kontrollgrupp’. Givet att man lyckas genomföra både ‘selection’ och ‘assignment’ slumpmässigt kan man visa att förväntningsvärdet av utfallsskillnaderna mellan de båda grupperna är den genomsnittliga kausala effekten i populationen. Kruxet är bara att de experiment som genomförs nästan aldrig bygger på att deltagare i experiment är valda ur en slumpmässig population! I de flesta fall startas experiment för att det i en given population (exempelvis skolelever eller arbetssökande i landet X) föreligger ett problem av något slag som man vill åtgärda. Ett idealt randomiserat experiment förutsätter att både ‘selection’ och ‘ assignment’ är randomiserade — vilket innebär att i princip inga av de empiriska resultat som randomiseringsföreträdare idag  så ivrigt prisar håller i strikt matematisk-statistisk mening. Att det bara talas om randomisering i ‘assignment’fasen är knappast någon tillfällighet. När det gäller ‘som om’ randomisering i ‘naturliga experiment’ tillkommer dessutom det trista — men ofrånkomliga — faktum att det alltid kan föreligga beroende mellan de undersökta variablerna och icke-observerbara faktorer i feltermen, något som aldrig går att testa!

Ett annat påtagligt och stort problem är att forskare som använder sig av de här på randomisering grundade forskningsstrategierna genomgående för att nå ‘exakta’ och ‘precisa’ resultat ställer upp problemformuleringar som inte alls är de vi verkligen skulle vilja få svar på. Designen blir huvudsaken och bara man får mer eller mindre snillrika experiment på plats tror man sig kunna dra långtgående slutsatser om både kausalitet och att kunna generalisera experimentutfallen till större populationer. Tyvärr innebär detta oftast att den här typen av forskning får en negativ förskjutning bort från intressanta och viktiga problem till att istället prioritera metodval. Design och forskningsplanering är viktigt, men forskningens trovärdighet handlar ändå i grund och botten om kunna ge svar på relevanta frågor vi som både medborgare och forskare vill få svar på.