En guide för effektutvärdering Stormöte tidiga insatser, sociala investeringar, 2 juni 2014 Tomas Bokström www.skl.se/psynk Några frågor kring uppföljning och utvärdering Hur vet vi att det vi gör har effekt? Hur uppnår vi ny kunskap? Hur jämför vi alternativa insatser? Vilken kompetens behövs för att göra goda utvärderingar? Hur utformar vi administrativa system så att uppföljning och utvärdering inte innebär för/onödigt stora merkostnader? Styrning med uppföljning och utvärdering Görs det som ska göras, nås de som ska nås av insatsen? - Processmått för att mäta programtrohet Uppföljning Får vi de utfall som det var tänkt, vad är storleken på effekten? - Mätning av utfall, väntade och oväntade (bieffekter) Effektutvärdering Vad innebär de förändrade utfallen ekonomiskt, kort- och långsiktigt? - Kort sikt: Ev. förändring av konsumtion av välfärdstjänster, relaterat till insatsens kostnad - Lång sikt: Förändrade utfalls påverkan på sannolikheten för framtida välfärdskonsumtion samt produktionsvinster Cost/benefit-analys Utvärderingsguide Definiera krav för att utvärdera sociala investeringar Beskriva ett arbetssätt Målgrupp för guiden Den som ska planera och/eller genomföra utvärdering Ska beställa en extern utvärdering Ska utforma en kravprofil för en tjänst eller ett uppdrag med ansvar för uppföljning och utvärdering (av sociala investeringar) Överväger att inleda ett arbete med sociala investeringar Utvärderingens fyra faser Vilken typ av effektutvärdering? Före-efter-mätning TVEKSAM! Matchad kontroll Randomiserad kontrollerad studie (RCT) RANDOMIZE EVERYTHING Controlled trials are shedding light on human behavior—and how to nudge it in a positive direction. http://www.wired.com/wiredscience/2013/11/jpal-randomized-trials/ http://www.povertyactionlab.org Vilka effekter? Skolresultat (tester, prov, betyg) Psykisk hälsa (instrument t.ex. SDQ, www.sdqwebb.se) Försörjning, arbetsmarknadsutfall Juridisk bedömning Samtycken Hantering av data Ev. forskningsetisk prövning - EPN Genomförande Säkra implementering Kontinuerlig uppföljning av processmått - projektstyrning Systematisk insamling/registrering av insatser Konsumtion av välfärdstjänster (insatser i skola, socialtjänst, BUP) Analys av data och kostnader Jämförelse interventions- och kontrollgrupp - Medelvärden - Variation - Effektstyrka Cost effectiveness Cost benefit Samband över tid och mellan verksamheter Modell från utvärderingsrapport av Skolfam2 i Norrköping, Bernfort och Lundqvist, LiU, 2014 Samband mellan kort- och långsiktiga effekter (exempel) Ökad livsinkomst genom ökning i test score (medelvärde) 1 Ökad livsinkomst genom ett extra studieår (medelvärde) 2 Gymnasieexamen leder till lägre kriminallitet3 1Hall, M., & Farkas, G. (2011). Adolescent cognitive skills, attitudinal/behavioral traits and career wages. Social) Forces, 89(4), 1261<1285. The National Longitudinal Survey of Youth (NLSY79) 2Harmon, 3Lochner C., & Walker, I. (1995). Estimates of the economic return to schooling for the United Kingdom. The American Economic Review, 85 (5), 1278<1286. & Moretti, 2004 Levitt & Lochner, 2001 Sabates, 2008 Buonanno & Leonida, 2009 Ou & Reynolds, 2010 Machin et al., 2011 Brugard & Falch, 2011 Webbink et al., 2008 Bjerk, 2011 Van Dorn, et al., 2011 0,118 0,099 -0,143 Kunskapsspridning Standard för rapportering av resultat Om lyckat projekt - etablera process för att skala upp/införa i ordinarie verksamhet Vad är målet? Utvecklad förmåga att utifrån behov och prioriteringar testa nya arbetssätt och att skala upp dessa om de är framgångsrika Utvecklad kunskapsöverföring mellan verksamheter, kommuner, landsting och länder Bibliotek över effektiva interventioner, med kostnader och ekonomiska effekter redovisade - www.investinginchildren.eu