Styrning med uppföljning och utvärdering

En guide för
effektutvärdering
Stormöte tidiga insatser, sociala investeringar,
2 juni 2014
Tomas Bokström
www.skl.se/psynk
Några frågor kring uppföljning och
utvärdering
 Hur vet vi att det vi gör har effekt?
 Hur uppnår vi ny kunskap?
 Hur jämför vi alternativa insatser?
 Vilken kompetens behövs för att göra goda utvärderingar?
 Hur utformar vi administrativa system så att uppföljning och
utvärdering inte innebär för/onödigt stora merkostnader?
Styrning med uppföljning och
utvärdering

Görs det som ska göras, nås de som ska nås av insatsen?
- Processmått för att mäta programtrohet
 Uppföljning

Får vi de utfall som det var tänkt, vad är storleken på effekten?
- Mätning av utfall, väntade och oväntade (bieffekter)
 Effektutvärdering

Vad innebär de förändrade utfallen ekonomiskt, kort- och långsiktigt?
- Kort sikt: Ev. förändring av konsumtion av välfärdstjänster, relaterat till
insatsens kostnad
- Lång sikt: Förändrade utfalls påverkan på sannolikheten för framtida
välfärdskonsumtion samt produktionsvinster
 Cost/benefit-analys
Utvärderingsguide
 Definiera krav för att utvärdera
sociala investeringar
 Beskriva ett arbetssätt
Målgrupp för guiden
 Den som ska planera och/eller genomföra utvärdering
 Ska beställa en extern utvärdering
 Ska utforma en kravprofil för en tjänst eller ett uppdrag med
ansvar för uppföljning och utvärdering (av sociala investeringar)
 Överväger att inleda ett arbete med sociala investeringar
Utvärderingens fyra faser
Vilken typ av effektutvärdering?
 Före-efter-mätning
TVEKSAM!
 Matchad kontroll
 Randomiserad kontrollerad studie (RCT)
RANDOMIZE EVERYTHING
Controlled trials are
shedding light on human
behavior—and how to
nudge it in a positive
direction.
http://www.wired.com/wiredscience/2013/11/jpal-randomized-trials/
http://www.povertyactionlab.org
Vilka effekter?
 Skolresultat (tester, prov, betyg)
 Psykisk hälsa (instrument t.ex. SDQ, www.sdqwebb.se)
 Försörjning, arbetsmarknadsutfall
Juridisk bedömning
 Samtycken
 Hantering av data
 Ev. forskningsetisk prövning - EPN
Genomförande
 Säkra implementering
 Kontinuerlig uppföljning av processmått - projektstyrning
 Systematisk insamling/registrering av insatser
 Konsumtion av välfärdstjänster (insatser i skola, socialtjänst,
BUP)
Analys av data och kostnader
 Jämförelse interventions- och kontrollgrupp
- Medelvärden
- Variation
- Effektstyrka
 Cost effectiveness
 Cost benefit
Samband över tid och mellan
verksamheter
Modell från
utvärderingsrapport av
Skolfam2 i Norrköping,
Bernfort och Lundqvist, LiU,
2014
Samband mellan kort- och
långsiktiga effekter (exempel)



Ökad livsinkomst genom ökning i test score (medelvärde) 1
Ökad livsinkomst genom ett extra studieår (medelvärde) 2
Gymnasieexamen leder till lägre kriminallitet3
1Hall,
M., & Farkas, G. (2011). Adolescent cognitive skills, attitudinal/behavioral traits and career wages. Social) Forces, 89(4), 1261<1285.
The National Longitudinal Survey of Youth (NLSY79)
2Harmon,
3Lochner
C., & Walker, I. (1995). Estimates of the economic return to schooling for the United Kingdom. The American Economic Review, 85 (5), 1278<1286.
& Moretti, 2004
Levitt & Lochner, 2001
Sabates, 2008
Buonanno & Leonida, 2009
Ou & Reynolds, 2010
Machin et al., 2011
Brugard & Falch, 2011
Webbink et al., 2008
Bjerk, 2011
Van Dorn, et al., 2011
0,118
0,099
-0,143
Kunskapsspridning
 Standard för rapportering av resultat
 Om lyckat projekt - etablera process för att skala upp/införa i
ordinarie verksamhet
Vad är målet?
 Utvecklad förmåga att utifrån behov och prioriteringar testa nya
arbetssätt och att skala upp dessa om de är framgångsrika
 Utvecklad kunskapsöverföring mellan verksamheter, kommuner,
landsting och länder
 Bibliotek över effektiva interventioner, med kostnader och
ekonomiska effekter redovisade
- www.investinginchildren.eu