Kaffekokaren gurglar i köket. Jag har gått upp tidigt för att rätta klart tentor. Tittar på tentahögen och på klockan på kyrktornet utanför fönstret; betygen är nu exakt 31 timmar försenade. Jag är trött. Har sovit för lite, just genomlidit andra omgången magsjuka på en månad, en närstående är sjuk, och vi har försökt lajva påsklov samtidigt. Jag läser. Textsjok flyter ihop, kriterier blandas. Vem skrev vad nu igen? Är jag rättvis?
Är det detta som är brus?
En av uppsatserna handlar om just noise, eller brus på svenska. Brus, enligt nationalekonomen och Nobelpristagaren Kahneman med kollegor, är störningar i beslutsprocesser som inte kan härledas till systematiska fel. Brus är den mänskliga faktor som gör att två psykiatrer ställer olika diagnoser på samma patient eller att jurydomare dömer mer positivt om det är den åtalades födelsedag.
Om en kandidat hamnar på ena eller andra sidan av A-strecket kan bero på om en panelist druckit kaffe precis före mötet
En av mina doktorander undersökte hur prestigefulla Starting Grant-bidrag delas ut av European Research Council. Han fann att ERC-panelen delade upp sökande i olika lag – ett förfarande som ger en air av exakthet. Men emellan A- och B-kandidater kunde det skilja decimaler, och som en utvärderare konstaterade: om en kandidat hamnar på ena eller andra sidan av A-strecket kan bero på om en panelist druckit kaffe precis före mötet eller inte.
I en idealvärld har man obegränsat med tid att fatta viktiga beslut: att specificera kriterier, identifiera kandidater och utvärdera dem alla mot samtliga kriterier. Gärna parallellt med andra oberoende bedömare, som man sedan samråder med. I den verkliga världen är sådant hyperrationellt beslutsfattande långt ifrån alltid möjligt eller ens önskvärt: det kan av resursskäl vara mer effektivt att göra som alla andra, eller som man alltid gjort. Sådana beslut är icke-rationella men bra.
Men det finns dåliga beslut. Dessa kan bero på olika typer av skevheter, eller bias. För mig är det en evig kamp att bortse från studenters tidigare agerande. (Läs: tidigare tentaresultat, ogiltig frånvaro, gruppbyten och sena ankomster.) Eller könsstereotyper. Utseende kan också påverka bedömningen, som en omdebatterad studie från Lund nyligen visade. I dessa fall försöker jag aktivt arbeta med anonymisering och att försöka synliggöra mina egna fördomar.
Jag tyckte att den här tentan var G i går men VG nu när jag läser om den.
Sedan har vi det där andra. Bruset. Att jag tyckte att den här tentan var G i går men VG nu när jag läser om den. Och att de första tentorna var bättre än de sista i högen. Puh. Det känns inte schyst att studenterna ska drabbas av min dåliga sömn, min magsjuka och mina omständigheter, och personligen tycker jag att betyg är ett otyg. Som lärare bryr jag mig bara om betyg i två fall: om något tydligt inte möter kursmålen eller är så sjukt bra att personen ifråga borde doktorera. Däremellan finns en stor grupp som jag skulle vilja skriva ett stort OK på, med skriftlig feedback.
Fast studenterna bryr sig ju. Ekonomstudenter använder sina betyg när de söker utbyten och konsulttjänster. Betygen verkar också fylla en social funktion. Några kollegor på Copenhagen Business School testade att ta bort betygen för förstaårsstudenter, och bara ge utförlig skriftlig feedback. Resultatet: oro. Studenterna ville ju veta hur de låg till i relation till andra! (Efter ett helt läsår var de betygsfria studenterna dock mindre stressade.)
Brus är oundvikligt, men försöka reducera det går ju. Att låta en betrodd kollega titta på svåra case är ett sätt. Låta en AI läsa för en ny, möjligen mindre fördomsfull, input. Kahneman et al förespråkar själva en ”brusrevision”, att man ger samma uppgift till en massa rättare för att se hur de resonerar.
Att hålla mitt flöde av koffeinintag så jämnt genom rättningsprocessen som möjligt är det rättvisaste jag kan göra.
Som småbarnsförälder med begränsade resurser förespråkar jag dock min egen metod för brusreduktion. Den är vetenskapligt belagd (av min doktorand då) och dessutom den enda faktor jag själv kan styra över. Den stavas kaffe. Att hålla mitt flöde av koffeinintag så jämnt genom rättningsprocessen som möjligt är det rättvisaste jag kan göra. Kaffekokaren har gurglat klart i köket, och dagens arbete kan börja.
Anna Tyllström
Forskare vid Uppsala universitet
och Institutet för framtidsstudier
