Vad kan vi lära oss av
utvärderingar?
Utvärderingsseminarium
17 september 2015
Vad kan vi lära oss av
utvärderingar?
13.05
Vad tyckte deltagarna om kompetensutvecklingen?
Lisa Karlsson, Analysenheten
13.40
Vad behöver vi tänka på för att genomförandet av
landsbygdsprogrammet 2014-2020 ska bli bra?
Sigrid Hedin, Tillväxtverket (tidigare Sweco Strategy)
14.30
Vad ska utvärderas i programuppstarten?
Fredrik Holstein, utvärderingssekretariatet
14.50
Fika
15.15
Vad behöver förenklas?
Terese Strenger, Sweco Strategy,
16.00
Slut
Kompetens för utveckling?
Utvärdering av kompetensutveckling i
landsbygdsprogrammet 2007-2013
Lisa Karlsson, Analysenheten
Slutsatser
• Nöjda! Från 64 procent (tvärvillkor) till 88 procent (djurens välfärd)
• Deltagare i kurs är mer nöjda än deltagare i rådgivning. Kvinnor är
mer nöjda än män
• Andelen som tycker att de inte kan mer efter utbildningen varierar
mellan 6 procent (djurens välfärd) och 33 procent (tvärvillkor)
• 74 procent svarar viss, ganska, mycket på åtminstone en effektfråga
• Män anser i högre grad än kvinnor att utbildningen har bidragit till
förändrat arbetssätt
• Det vanligaste skälet till att deltagarna menar att utbildningen inte
har haft effekt att de redan arbetade på det sätt som
rekommenderades på utbildningen.
Är deltagarna nöjda?
Begränsad klimatpåverkan
5
Djurens välfärd
3
24
9
Ekologisk produktion 1
88
17
Ett rikt odlingslandskap 0
Företagsutveckling Axel 1
82
14
86
2
Företagsutveckling Axel 3
28
5
Giftfri miljö 1
71
15
80
21
Hållbart skogsbruk 1
18
Ingen övergödning
16
Landsbygdsutveckling
71
2
4
Tvärvillkor
78
81
82
15
6
81
29
0%
Mycket/ganska missnöjd
64
50%
Varken nöjd eller missnöjd
100%
Ganska/mycket nöjd
Förändring kunskap
Kursen/rådgivningen har bidragit till att jag kan mer om…
Axel 1
Axel 2
Axel 3
Hållbart skogsbruk
Miljövänliga arbetsmetoder
24
44
14
33
Naturmiljöer och biologisk mångfald
9
36
12
52
Kulturhistoria, kulturmiljöer och/eller gamla byggnader
4
21
15
14
Djurhållning och/eller djurvälfärd
38
17
16
2
Starta och utveckla företag
4
4
15
2
Ekonomi, ökad lönsamhet och ledarskap
15
10
18
9
Entreprenad, köp av tjänster
3
1
7
7
Produktutveckling eller diversifiering
10
6
18
4
Turism, restaurang, mat och dryck
5
2
17
1
Service- och tjänsteverksamhet
5
1
9
1
Ingenting, jag kan inte mer än innan
14
10
10
15
Annat
20
14
20
20
Förändrat arbetssätt
• EU-frågor om bidrag till förändrat arbetssätt:
– Nya produkter, produktionsinriktningar
– Ny produktionsmetod
– Nya IT-hjälpmedel
– Skötsel för biologisk mångfald
– Mer miljövänligt arbetssätt
– Förändrat arbetssätt sammanfattningsvis
• Många svarar ”handlar inte om det” på en eller flera frågor.
• Frågan om nya IT-stöd är t ex inte relevant för ca 40 procent.
• 7 % svarar att aktiviteten inte handlade om någon av de
efterfrågade effekterna (oviktat).
Upplevd effekt?
• Relativt låg andel svarar ”i ganska/mycket hög utsträckning”
• Fler svarar ”i viss utsträckning”
• Cirka 3/4 - viss, ganska, mycket på fråga om miljö i målområden
som handlar om miljö
• Cirka 3/4 – viss, ganska, mycket på åtminstone en fråga
(oviktat)
• 8 procent – ingen eller mycket liten förändring på samtliga
effektfrågor (oviktat)
• Varför? Jo, man jobbar redan på rekommenderat sätt
• Kurs generellt mer positivt än rådgivning
Jämställdhet
Jämställdhet
Signifikanta skillnader
• Kvinnor är mer nöjda än män, kurs inom axel 1
• Män har förändrat sitt arbetssätt mer än kvinnor,
kurs
• Män har förändrat sitt arbetssätt mer än kvinnor,
rådgivning hållbart skogsbruk
Generella tendenser
• Kvinnor mer nöjda än män
• Män har förändrat arbetssätt i högre uträckning än
kvinnor
Nivå & innehåll
Benägenhet att tycka att man inte kan mer än innan
Signifikanta skillnader
• Rådgivning
• Målområdena Begränsad klimatpåverkan,
Företagsutveckling axel 1 och axel 3 samt Tvärvillkor
• Skogsägare, skogsentreprenör
Nivå & innehåll
Benägenhet att tycka att man redan arbetar på rekommenderat
sätt
Tendenser
• Män
• Rådgivning
• Jordbrukare
• Skogsbrukare, skogsentreprenör
Minst benägenhet, signifikanta skillnader
• Målområde landsbygdsutveckling
• Annan roll
Målet?
• Inga definierade mål på effektnivå
• Vad har vi för förväntningar på
kompetensutveckling?
• Är resultaten bra i förhållande till dem?
Kompetens för utveckling?
Utvärdering av kompetensutveckling i
landsbygdsprogrammet 2007-2013
Lisa Karlsson, Analysenheten
Förhandsutvärdering av
landsbygdsprogrammet 2014-2020
Rekommendationer juni 2014
Sigrid Hedin, uppdragsledare
(f.d. Sweco Strategy)
Hur gjordes
förhandsutvärderingen?
• Följt riktlinjer för förhandstutvärdering.
• Stegvis bedömning av programframtagande
(mars 2013-juni 2014)
• Resultat: Förhandsutvärderingsrapport samt
SMB-rapport inklusive rekommendationer.
Slutsatser
• Utveckla interventionslogiken
• Utveckla målformuleringar
• Tydliggör åtgärders utfall och resultat
• Utforma indikatorer för att följa den eftersträvade förändringen
• Var vaksam på hur nya / vissa inslag i programmet fungerar
• Innovation
• CLLD flerfondslösning
• Horisontella principer, inkl. miljö och hälsa
• Anpassa programmet utifrån uppföljningar och utvärderingar
Interventionslogik
Generellt
• Nya inslag (åtgärder) bör följas särskilt i övervaknings-, uppföljningoch utvärderingsarbetet.
CLLD – Säkerställ …
• … lokal förvaltningskapacitet
– ett ”landskapsperspektiv” för prioritering 4.
– kan spela stor roll inom innovationer och samverkan. Det kräver att det finns
nödvändig kompetens och kapacitet inom LAG.
• ... att urvalskriterier av lokala utvecklingsstrategier svarar upp mot t
ex lokala och regionala planer och program.
• …. att innovationsprincipen adresseras och inkluderas i lokala
utvecklingsstrategier.
• … en samordning med fiskeri-, regional- och socialfonden under
genomförandet för att möjliggöra en flerfondsfinansiering av
insatser när behov finns.
Mål och finansiell fördelning
Målformulering
• SMART:a mål på en mellanliggande nivå bör utvecklas för att
underlätta uppföljning och utvärdering.
Extern överensstämmelse
• Relatera regionala handlingsplaner till lokala och regionala
mål.
• Säkerställ en koppling till EU:s strategi för Östersjöregionen i
programgenomförandet.
• Följ nogsamt genomförandet av insatser med en liknande
inriktning, för att minimera överlappningar och möjliggöra
synergier.
Utfall och resultat
• Förväntat utfall och resultat som åtgärderna ska bidra till bör
tydligare redovisas i programdokument.
• Kompletterande utfallsindikatorer behövs för att följa
programgenomförandet, särskilt för prioriteringarna 1, 3, 4
och 5.
• Kompletterande resultatindikatorer behövs för samtliga
fokusområden för att tydligare kunna följa den förändring
som programmet eftersträvar att uppnå.
• Samverkan och erfarenhetsutbyte kring ansatser för att
fånga resultat bör bedrivas med andra ESI-fonder.
– Rörande indikatorer inom prioritering 1 och 6 uppmuntras
särskild avstämning.
Horisontella principer
& hållbar utveckling
• Mål på en mellanliggande nivå som uppfyller SMARTkriterierna saknas för de horisontella principerna.
– Bedöm om särskilda åtgärder krävs för att nå dessa
mål.
• Programmets bidrag till ökad jämställdhet och minskad
diskriminering skulle kunna förtydligas.
• Se över om och hur kopplingen mellan vissa
fokusområden och klimatförändringar kan utvecklas.
• Prioriteringarna 1, 2 och 6 kan styras så att de bidrar till
hållbar utveckling.
Horisontella principer
& hållbar utveckling
• Handläggare bör löpande utbildas i tillämpningen av de
horisontella principerna och hållbar utveckling.
– I detta inbegrips även att säkerställa att information når alla berörda
samt att hänsyn till språkval tas, i exempelvis kunskapsöverföringsoch informationsåtgärder, rådgivningstjänster, jordbruks- och
affärsutveckling.
• Explicit uppföljning och utvärdering av målen för de
horisontella principerna och hållbar utveckling bör
genomföras.
– Resultaten bör återföras till ansvariga för att möjliggöra justering av
insatser under genomförandet. Det kan både handla om att förstärka
positiva effekter och minimera eller undvika negativa effekter.
Strategisk Miljöbedömning (SMB)
• Mer klimatanpassningsåtgärder hade varit möjligt.
• Kompletterande uppföljning och utvärdering behövs för
kunskap om hur programmet påverkar på miljö och hälsa.
• Uppföljning kring programmets samspel med andra
relevanta program behövs för att säkerställa att bästa
möjliga effekt av programmet kan uppnås.
• I utformning samt programgenomförandet bör miljöaspekter
kontinuerligt integreras i processen, t ex i regionala
handlingsplaner.
• Uppföljning och utvärdering: Kunskap ska återkopplas till
programgenomförarna, för att kunna korrigera åtgärder.
Genomförande
• Tydliggör hur rådgivning om programmets möjligheter ingår
som en del i kommunikationsansatsen.
• Säkerställ att de åtgärder som planeras för att minska den
administrativa bördan verkligen medför en reell förenkling.
• Jordbruksverket bör säkerställa att det finns en god
förståelse för lokala behov i genomförandet av CLLD.
– Här är utformningen och sammansättningen av urvalskommittéerna,
som bedömer och prioriterar de lokala utvecklingsstrategierna av
yttersta vikt.
• Vidta åtgärder för att minimera risken för finansieringsglapp
av LAG för att säkerställa att kompetens och kapacitet
vidmakthålls.
Uppföljning och styrning
• Löpande uppföljning och utvärdering är av stor betydelse för
att bedöma om programmets inriktning bör justeras.
• Övervakningskommittén och förvaltningsmyndigheten bör
använda sig av uppföljnings- och utvärderingsresultat för att
– vid behov justera insatser samt
– som grund för framtagandet av liknande framtida insatser.
Förhandsutvärdering av
landsbygdsprogrammet 2014-2020
Rekommendationer juni 2014
Sigrid Hedin, uppdragsledare
(f.d. Sweco Strategy)
Utvärdering av genomförandeorganisationen i ESI-fonderna 2014-2020
Hur väl har ESI-fonderna organiserats för att
bidra till uppfyllandet av EU:s 2020-mål?
Diskussion kring inriktningen på en
fondgemensam utvärdering under 2016
Bakgrund
• Gemensam
utvärdering 2016
(SJV, TVV, ESF)
• Genomförarande
för program- & EU
2020-mål?
–rutiner & arbetsformer
–synergier &
överlappningar
Processen
• Remiss genomförs av Jordbruksverket,
Tillväxtverket respektive ESF-rådet
• Skriftliga synpunkter, senast 22/9, till
[email protected]
• Fondsamordningens arbetsgrupp justerar
• Upphandling under hösten, slutlig utformning i
samråd med utvärderare
• Utvärderingen genomförs under 2016
Preliminära
utvärderingsfrågor
1.
2.
3.
4.
5.
6.
7.
Bidrag till uppfyllandet av EU 2020-målen?
Genomförandet av Lokalt ledd utveckling?
En kunskapsbaserad politikutveckling?
Effekter av urvalskriterier?
Användningen av horisontella kriterier?
Har programmen förenklats?
Lagom samordning mellan ESI-fonderna?
Synpunkter från
genomförandeorganisationerna?
• Vilka utvärderingsfrågor bör ställas?
– Precisering av frågor/delfrågor?
– Lägga till / ta bort frågeställningar?
– Prioritering av frågeställningar
• Hur möjliggöra lärande och förändring under
programperioden?
– Vad är möjligt och lämpligt att ändra på?
– Hur utforma processen för att möjliggöra lärande?
– Fokus på särskild del av genomförandeorganisationen?
Utvärdering av genomförandeorganisationen i ESI-fonderna 2014-2020
Hur väl har ESI-fonderna organiserats för att
bidra till uppfyllandet av EU:s 2020-mål?
Diskussion kring inriktningen på en
fondgemensam utvärdering under 2016
Fikapaus… åter 15.15
Vad behöver förenklas?
Utvärdering av landsbygdsprogrammet
samt havs- och fiskeriprogrammet
Terese Strenger
36
Utvärderingsfrågor och resultat
På vilket sätt
upplever
stödmottagarna
att det är svårt att
söka och få stöd
från programmen?
Lätt att söka stöd –
vissa problem med
ansökan,
handläggningstider
och redovisning av
kostnader
Har åtgärder
genomförts inom
de områden där
de sökande
upplever att det
finns störst
hinder?
Förenklingsarbetet
har haft rätt
inriktning –
handläggningsrutinerna inom
havs- och
fiskeriprogrammet
bör ses över
Har
förenklingarna
påverkat
förutsättningarna
att nå målen med
stöden?
Marginell
positiv
påverkan på
måluppfyllelse
Har
förenklingarna
påverkat
myndigheternas
administrativa
börda?
På sikt minskar
administrationen
för
myndigheterna
18/09/2015
37
Metod
Inför ansökan
om stöd
Ansöknings
förfarandet
Beslutsfasen
Kontroll
Utbetalning/
redovisning
18/09/2015
38
På vilket sätt upplever stödmottagarna att det är svårt att söka
och få stöd från programmen?
RESULTAT
• Tydlig information om villkor för stöd
• Ansökningsförfarandet relativt enkelt undantaget företagsstöd i
landsbygdsprogrammet
• Mycket långa handläggningstiderna innan beslut för företagsstöd i
fiskeriprogrammet
• Inga större svårigheter i kontrollfasen
• Utbetalnings- och redovisningsfasen svår för projektsökande
• Negativa konsekvenser för sökande i fiskeriprogrammet
18/09/2015
39
Har åtgärder genomförts inom de områden där de sökande
upplever att det finns störst hinder?
RESULTAT
• Förbättrad kundtjänst,
• Förtryckta uppgifter i SAM
Internet,
• Tydligare kontrollbeslut
• Stabilare blockdatabas
Miljöersättning
Rätt inriktning
• Enklare tolkning av
regler
• Färre ändring av
regler
Kompensationsbidrag
• Likartad bedömning
av kontrollanter
• Enklare kontroller
18/09/2015
40
Har åtgärder genomförts inom de områden där de sökande
upplever att det finns störst hinder?
RESULTAT
• Elektronisk ansökan
• Schablonkostnader
Stor
påverkan
• E-handläggning
• Mina sidor
Viss
påverkan
• Medfinansiering
borttaget
• En LLU-myndighet
Marginell
påverkan
Miljöinvestering
Företagsstöd
L-program
EN kontaktperson
Tydligare information om
villkor för stöd
Bättre vägledning vid
ifyllandet av ansökan
Företagsstöd Fprogram
Projektstöd
Kortare
handläggningstider
För beslut och
utbetalning
Enklare och mindre
detaljerad redovisning
av kostnader
41
Har förenklingarna påverkat förutsättningarna att
nå målen med stöden?
Marginell positiv påverkan
Har förenklingarna påverkat myndigheternas
administrativa börda?
På sikt underlättas myndigheternas administrativa
börda
18/09/2015
42
Slutsatser och rekommendationer
• Lätt att söka stöd – vissa problem med ansökan,
handläggningstider och redovisning av
kostnader
• Förenklingsarbetet har haft rätt inriktning –
handläggningsrutiner inom havs- och
fiskeriprogrammet bör ses över
• Marginell positiv påverkan på måluppfyllelsen
• På sikt minskar administrationen för
myndigheterna
18/09/2015
43
Vad behöver förenklas?
Utvärdering av landsbygdsprogrammet
samt havs- och fiskeriprogrammet
Terese Strenger
44
Tack för idag!
