Min uppgift
Experiment
Möjligheter och begränsningar
med olika metodval
Rapporten
Metodvalet
Mitt val
Pär Nyman
[email protected]
Statskontoret 5 maj 2014
-1-
Min uppgift
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Vi ska inte säga hur undersökningarna borde ha utförts.
Har inte tillräcklig kännedom om Statskontorets uppdrag,
ämnesområdena eller kunskapsläget.
Inte heller vara stora realister.
Bredda perspektiven och öppna diskussioner som kan
appliceras även på andra rapporter.
Tolkar uppdragen brett, tar lätt på budgeten och föreslår
andra undersökningsupplägg även när det faktiska
upplägget var bra.
-2-
Experiment
Svårt att mäta diskriminering
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Risk att personer – medvetet eller omedvetet – säger vad
som förväntas av dem snarare än hur myndigheten
faktiskt arbetar.
Om analysobjekten vet att de observeras kommer deras
agerande att påverkas.
Diskriminering är sällan så uppenbar att den syns i ett
enskilt rekryteringsärende. Genom att studera många
ärenden kan vi säga något om dem i genomsnitt.
Myndigheter skiljer sig åt i många avseenden vi inte kan
kontrollera för. Hur stor andel av medarbetarna skulle ha
utländsk bakgrund om det inte förekom diskriminering?
-3-
Experiment
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Ställer mig ofta frågan: vad hade IFAU gjort?
Dessa problem kan hanteras genom experiment.
Ofta inte möjligt (inte förenligt med uppdraget, för dyrt,
etiska och juridiska betänkligheter) och begränsade
frågeställningar. Men ibland?
I detta fall hade man kunnat skicka fingerade
jobbansökningar där endast namnet varierade.
Inte möjligt att uttala sig om enskilda myndigheter, bara
om genomsnittliga skillnader beroende på exempelvis
arbetssätt, ändamål och storlek.
-4-
Rapporten
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Rätt men ändå fel – en granskning av CSNs arbete för att
förhindra felaktiga utbetalningar
-5-
Rapporten
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
I uppdraget ingick två huvudfrågor
Uppfyller CSN de formella krav som ställs på en
myndighets interna styrning och kontroll?
Arbetar CSN med intern styrning och kontroll på ett
sådant sätt att risken för felaktiga utbetalningar minskar
eller elimineras?
-6-
Rapporten
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Frågorna besvarades på följande vis
En granskning av huruvida CSNs verksamhet följer
Förordningen om styrning och kontroll (riskanalyser
genomförs och åtgärder vidtas).
En granskning av utbildningsanordnares (gymnasieskolor,
komvux och högskolor) inrapportering av skolk och
studieavbrott.
-7-
Rapporten
Min uppgift
Statskontorets slutsatser
Experiment
Rapporten
Metodvalet
CSN uppfyller till stora delar de formella kraven på
myndighetens interna styrning och kontroll.
Mitt val
Väl utfört arbete med att kartlägga och motverka interna
risker, men brister i arbetet med externa risker såsom
ofullständig eller försenad inrapportering från
utbildningsanordnare.
Rapporttiteln syftar på att det inte är tillräckligt att
uppfylla de formella kraven på intern styrning och kontroll
för att förhindra felaktiga utbetalningar.
-8-
Rapporten
Min uppgift
Experiment
Rapporten
Problemen i skolornas rapportering
Metodvalet
Mitt val
Sannolikt att omfattningen av skolk, bristande
studieaktivitet och kursavbrott underrapporteras och att
variationen är stor mellan skolor.
Rapporteringen går ofta långsammare än önskvärt (en
eller två månaders felaktiga utbetalningar).
-9-
Metodvalet
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
En fråga man alltid bör ställa sig
Hade man kunnat nå andra slutsatser?
- 10 -
Metodvalet
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Hur många felaktiga utbetalningar är lagom?
Krav på styrning och kontroll anses ofta orimligt hårda.
Orimligt att eliminera felaktiga utbetalningar.
Hur många är rimligt?
Vilka felaktiga utbetalningar bör åtgärdas?
Är inte de flesta oproblematiska?
- 11 -
Metodvalet
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
- 12 -
Metodvalet
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Ökad kontroll och inrapportering har kostnader
Kostnader för administrativt merarbete.
Likriktning och styrning av pedagogiskt innehåll och
utbildningsplanering.
Förtroende mellan lärare och elever.
Förordningen: myndighetens arbete ska bedrivas effektivt och
myndigheten ska hushålla väl med statens medel.
- 13 -
Metodvalet
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Val av fall och jämförelsepunkter
Inte intressant att generalisera till andra myndigheter.
Rapportförfattarna valde ett ”most likely”-fall för att
påvisa problem. Användbart för CSN, men inte
generaliserbart till övriga områden.
Jämförelser över tid, mellan myndigheter eller med andra
länder.
- 14 -
Mitt val
Min uppgift
Experiment
Rapporten
Metodvalet
Svårt att göra en kvantitativ studie
Mitt val
Processorienterad frågeställning.
Vanligt i Statskontorets uppdrag?
Bara ett analysobjekt och små ambitioner till
generalisering.
- 15 -
Mitt val
Min uppgift
Experiment
Rapporten
Metodvalet
Mitt val
Två typer av felaktiga utbetalningar
De som aldrig upptäcks är svårbeforskade.
De som upptäcks och leder till återkrav finns det statistik
på.
- 16 -
Mitt val
Min uppgift
Experiment
Rapporten
Jag skulle utgå från statistiken på återkrav
Metodvalet
Mitt val
Hur omfattande är de i förhållande till alla utbetalningar?
Hur stor del av fordringarna kan inte regleras inom ett år?
Hur väl överensstämmer orsakerna till återkraven med den
riskanalys CSN har gjort?
Hade det varit möjligt (rimligt) att stoppa utbetalningen?
- 17 -
