Utvärdering av Televård

F5: Utvärdering av Televård
10 mars 2009
Definitioner
Utvärdering av
Televård
Vad 1(6)
„ Evaluation (Utvärdering)
Är en systematisk undersökning av en aktivitets värde och
betydelse
„ Assessment (Bedömning)
Processen att genomföra en utvärdering, verifiering eller
validering
-
„ Verifiering – möta fördefinierade mål/”specifikation”
ensure correctness & consistency Æ input.
Principer – Tekniker & Målsättning
-Vem – Vad – När – Hur - Varför
- Bygger vi systemet rätt?
„ Validering – möta sitt syfte,
baserat på kvalitet - Is it good enough?
- Bygger vi rätt system? (Æ närmare till generaliserbarhet)
F5: tisdag 10 mars 2009 kl. 13-15
2
Vasilis Hervatis – LIME,KI
Olika perspektiv
Olika målsättningar
Vad 2(6)
„
Hög effektivitet?
„
Excellenta prestationer?
„
Hög kvalitet?
„ Ekonomiskt
„
Patientsäkerhet?
„ Organisatoriskt
„
Bättre samverkan?
„ Legalt
„
Optimal resursutnyttjande?
„ Etiskt
„
Bättre arbetsmiljö?
„ Användbarhet
„
Bättre ekonomi / högre vinster?
„
Nöjda kunder?
„
Överlevnad / förbättring?
„ Kliniskt
„ Tekniskt
„ …
Vad 3(6)
3
Olika modeller
Exempel 1:
Samhällsekonomiska vinster Vad 5(6)
Vad 4(6)
„ Klasiska resultatmodeller
„
„ Metoder
Vetenskapliga – experimentella
ƒ Cost-Benefit analys
ƒ Cost-Effectiveness analys
ƒ Cost-Utility analys
„ Komparativa utvärderingsmodeller
„
Manegement orienterade
„ Kausalitet – Additionalitet
„ Teoribaserade utvärderingar
„
„ Känsloladdade diskussioner
Kvalitativa – antropologiska
„ Aktörsfokuserade utvärderingar
„
„ Sjukvårdens paradox
Deltagarorienterade
5
Vasilis Hervatis LIME,KI
4
6
1
F5: Utvärdering av Televård
10 mars 2009
Exempel 2:
Kvalitet i vården
Olika Syften
Vad 6(6)
Varför 1(2)
Hälso- och sjukvården ska
Vara säker
Vara kunskapsbaserad
Vara ändamålsenlig
Vara patientfokuserad
Vara effektiv
Vara jämlik
Ges i rimlig tid
7
Förändringsbehov
Politiska beslut
Inre orsaker
„
„
Ny organisationsklimat
„
Lagförändringar
„
Ny organisationsstruktur
„
Teknisk utveckling
„
Nya arbetsformer
„
Ekonomiska faktorer
„
Nya arbetsverktyg
Marknadsmässiga faktorer
„
Nya anställda
Förändrande resurstillgångar
„
Nya idéer och mål
„
Nya konkurrenter
„
Svårigheter – problem
„
Nya marknader
„
Utfall – resultat
„
„
Kontextberoenden
Varför 2(2)
Yttre orsaker
8
Vem 1(2)
„ SMART-kriterier för uppföljningsbara mål
„ S pecifikt
„ M ätbart
„ A ccepterat
„ R ealistiskt
„ T idssatt
”Evaluation can be defined as the act of measuring or
exploring properties of a HIS (in planning,
development, implementation or operation),
The result of which informs a decision to be made
concerning that system In a specific context.”
(Ammenwerth et al. 2004)
Symons and Walsham 1988:
We view evaluation not as the application of a set of tools and techniques, but as a
process to be understood, by which we mean an understanding of the functions and
nature of evaluation as well as its limitations and problems.
9
Helhetssyn
10
Utvecklingsfaser
Vem 2(2)
När 1(2)
Livscykelmodellen enl. Andersen 1994
11
Vasilis Hervatis LIME,KI
12
2
F5: Utvärdering av Televård
10 mars 2009
Exempel:
Iterative prototyping/usability testing
Planera & genomföra
Hur 1(4)
Exploratory
tests
Assessment tests
Validation tests
Comparison tests
13
Datainsamlingsmetoder
14
Verktyg
Hur 2(4)
Hur 3(4)
Exempel på tester:
„ Kvantitativ – baserad på mättningar och siffror
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ Deskriptiv statistik
ƒ (medelvärde, median, spridningsmått, standardavvikelse)
ƒ Analytisk statistik
ƒ (signifikans, konfidensintervall, samvariation, regression)
„ Kvalitativ – baserad på förklaringar och tolkningar
ƒ Fenomenologi
ƒ Etnografi
ƒ Symbolisk interaktionism
Classdiagramtester
Relationstester
Modultester
Komponenttester
Belastningstester
Säkerhetstester
Hastighetstester
Testscenarion
Användarvänlighetstester
Acceptanstester
Riskanalys
…
15
Exempel: Riskanalys
„
Möter systemet ett verkligt behov?
„
Passar systemet i den befintliga organisationen?
16
Exempel:
Utvärdering av användbarhet
Hur 4(4)
„ Ändamålsenligt? Effektivt? Nöjd användare?
„
„
„
Förändrar systemet den befintliga organisationen? Hur?
„
Passar systemet i de befintliga arbetsprocesser?
„
Förändrar systemet de befintliga arbetsprocesser? Hur?
„
Är systemet hållbart?
„
Är systemet säkert?
„
…
„
„
„
ƒ Produkter som är lättare att förstå/använda
ƒ reducerar stress, ökar tillfredsställelsen för användarna
ƒ
ƒ
17
Vasilis Hervatis LIME,KI
Vad är problematisk för användarna?
Används produkten på det sätt som förväntas?
Tycker användarna att produkten är lätt att använda?
Är användarna nöjda med gränssnittets utformning?
Vilka ändringar är nödvändiga?
reducerar kostnader för utbildning och support
Förbättrar ändamålsenlighet & effektivitet
ƒ både för individerna OCH hela organisationen
18
3
F5: Utvärdering av Televård
10 mars 2009
Verktyg för
användarvänlighetstester
Framgångsfaktorer
„ Cognitive Walkthrough
„ Analys hypoteser om orsaker – samband – oklarheter – omgivning –
„ Heuristic Evaluation
„ Handling mål – delmål – uppföljningskriterier – syn på arbetsprocess –
„ Think Aloud
„ Utvärdering analys & tolkning
restriktioner – kunskap om fenomen – begrepp – frågeställningar – tidigare
erfarenheter - …
åtgärder – delåtgärder – implementeringsmetoder – tidsplan – uppföljnings
metoder – utvärderingsplan – långsiktigt införlivande
19
20
Fallgruppar
„
Urval av personer
„
Självvärdering (Assessment bias)
„
Placebo effekt
„
Checklist effekt
„
Forskningseffekt (Hawthorne effect)
„
Allianseffekt
„
Inlärda försökspersoner
„
In- exkluderingskriterier
„
Datamängd som ska analyseras
(Volunteer effect)
(Carryover effect /contamination)
21
Vasilis Hervatis LIME,KI
4