Tova Stenlund

Tova Stenlund
Institutionen för Tillämpad Utbildningsvetenskap:
Beteendevetenskapliga Mätningar,
Umeå Universitet
Vad är Beteendevetenskapliga mätningar?
”Målsättningen är att utveckla och utvärdera metoder,
instrument, teorier och system för att beskriva, tolka och förstå
individers och gruppers kunskaper, färdigheter och attityder.”
• Institutionens arbete
¾ Högskoleprovet, Nationella prov, Körkortsprovet, m.m
• Mitt forskningsområde
¾ Bedömning av vuxnas reella kompetens/Validering
Dagens presentation:
¾ Definition och syfte med validering/bedömning av reell
kompetens
¾ Viktiga begrepp
¾ Instrument och modeller
¾ Guidelines och gemensamma principer
¾ Validitet/kvalitet i bedömningen.
Vad är problemet?
- Arbetslösa vill ha sin kunskap dokumenterad för att öka
möjligheten till anställning,
- vuxenstuderande vill slippa studera något de redan kan,
- anställda vill få sin reella kompetens dokumenterad för att
också bli avlönade för det arbete de utför eller för att
kunna avancera inom företaget.
- Utländsk arbetskraft vill bevisa sin kunskap för att få
tillträde till den svenska arbetsmarknaden.
Definition av begreppet validering
(kan leda till tillfällig förvirring)
• Förslag av regeringskansliet:
”Validering är en process som innebär en strukturerad bedömning,
värdering, dokumentation och erkännande av kunskaper och
kompetens som en person besitter oberoende av hur de förvärvats (Ds
2003:23).”
• Validitet i ett vetenskapligt sammanhang, att mäta vad som var
avsett att mätas och ingenting annat och validering betyder att man
utvärderar validiteten i en mätning eller bedömning
”Validering handlar alltså i stor utsträckning om hur man kan omvandla reell
kompetens till formell kompetens, det vill säga att individer ska få ”papper”
på det de faktiskt kan (Andersson, Sjösten & Ahn,2003, s 20)”
Eller…
The assessment of prior learning (APL) represents the task to identify an
individual’s knowledge and skills through suitable assessment, and to record it
as evidence and put it to use (Evans, 1988).
Reell kompetens!
• Formell kompetens
- Strukturerat lärande, erhållen inom utbildningssystemet
• Informell kompetens
- Ostrukturerat (till viss del omedvetet) lärande genom dagliga
aktiviteter, som ex i arbetet eller hemmet
• Icke-formell kompetens
- Kan vara både strukturerade och medveten, erhållen på
arbetsplatsen eller frivilligt deltagande i fritidsaktiviteter
Lite historik
•
1970-talet
- USA
- Utjämning av sociala orättvisor, breddad intagning till högre studier
- USA, och senare Sverige, inför högskoleprovet (SAT)
•
1980-talet
- Spridning till Europa (UK), Canada och Australien
- Arbetsmarknadsinriktad
- Ekonomisk utveckling, ta till vara på yrkeskompetens
- Testprogram för invandrare, yrkestest för arbetslösa
•
1990-talet
- Mer samhällsförändrande syfte
- 1996, EUs år för livslång lärande
- Individen lyfts fram som ansvarig för sitt eget lärande
Tre huvudsakliga områden
1. Inför vidare studier, behörighet eller som underlag för
urval.
2. Anpassad utbildning, ofta inom yrken med brist på
utbildad personal, ex vårdyrken, yrkeslärare.
3. I relation till arbetslivet, arbetssökande eller utveckling i
sitt arbete
Intressenter!
• Arbetslösa
• Utländsk arbetskraft
• Vuxenstuderande
• Anställda
Men, vilka ställs utanför?
Viktiga begrepp!
• Kunskap
”Kunskap ses som en färdighet i ett givet sammanhang, där den innebär att man
både vet hur man ska göra något och även kunna förstå och förklara vad man har
gjort.”
• Hur kan man veta att en person har kunskap?
- prov
- erfarenhet
- upptäcka
• Kan all kunskap bedömas?
– Tyst kunskap
– Situerad kunskap
Forts. Viktiga begrepp!
• Kompetens
”en individs potentiella handlingsförmåga i relation till en viss uppgift,
situation eller kontext”
• Reell kompetens = det jag verkligen kan, inte bara det jag har
papper på!
- Kan den reella kompetensen vara hög även om den formella är låg?
- Eller kan den formella kompetensen vara hög även om den reella kompetensen
är låg?
Forts. Viktiga begrepp!
• Lärande
– ”något händer som gör att en person, mer eller mindre medvetet, ändrar
uppfattning/skapar sig en bild av något genom tanke/reflektion/handling
– Livslångt lärande!
– Frivillig eller ett tvång?
Nytt exempel!
Elsa är undersköterska på akutavdelningen vid ett stort sjukhus i Stockholm.
Jag är kursansvarig för den högskoleutbildning i handledarskap för
undersköterskor som Elsa går på. Vid kursstart ombeds alla deltagare att
beskriva sina arbetsuppgifter. Turen kommer till Elsa och efter en stunds
tystnad svarar hon: ”Jag har inga speciella arbetsuppgifter.” ”Men vad gör
du då under din arbetstid?”, blir frågan. Elsa förklarar: ”Min uppgift är att
avgöra vilka av dem som kommer in på akuten som behöver tas om hand
omedelbart och vilka som kan vänta.” ”Men”, säger vi lärare häpna, ” det
du beskriver handlar ju om väldigt kvalificerade arbetsuppgifter som
innebär stort ansvar.” ”Nej”, svarar Elsa, ”det tycker jag inte. Det kan väl
varenda kotte.”
Valideringsdelegationens slutrapport, 2008
Två viktiga frågor inom området:
Vilken kunskap är viktig?
Kan all kunskap bedömas?
Kunskapsbedömning
• ”Assessment” – från latinets ”assidere” som betyder ”sitta
med”
• Assessment eller bedömning definieras som ”insamlande,
tolkning och användning av information för att stödja
beslutstagande”
Syften med bedömning/validering:
•
•
•
•
Selection – tillgång till högre utbildning
Accreditation – poäng eller förkortning av utbildning
Qualification – tillräckligt kompetent för ett arbete eller kurs
Formative – främja lifelong learning, identifiera behov av
utbildning eller yrkeserfarenhet
• Guidance – vägledning inför framtida utbildnings eller anställnings
beslut.
Hur mätas/bedöms reell kompetens?
Verktyg/instrument för bedömning:
• Portfolio *
• Självskattning
• Dokumentanalys
• Intervjuer
• Prövning, teoretisk/praktisk
• Lärarbedömning
• Diagnos
Olika modeller för bedömning av
reell kompetens/validering
• Konvergent/bevis
¾
¾
¾
¾
¾
Om du kan?
kontrollerande, mot fastställda kriterier
bevis för kunskap/kompetens bedöms och ges ett värde (poäng).
Dokumentanalys, lärarbedömningar, prövning osv.
Syftet är ofta urval eller tillgodoräknande
• Divergent/process
¾ Vad du kan?
¾ Inga färdiga svar, vad individen lärt
¾ En process där reflektion och identifikation av kunskap/kompetens översätts och ges ett
värde
¾ Självskattningar, intervjuer, diagnos, studievägledning portfolio osv.
¾ Syftet kan vara att leda någon till rätt utbildning eller yrke, eller formativt.
Valideringsdelegationens modell
Kartläggning
Yrkesbedömning/prövning
Certifiering/praktik/
tillgodoräknande
Kontrollerande
Normerad och spetskompetens
Utforskande
Generell kompetens
Valideringsproceduren
Olika inriktningar:
• Integrerad i utbildning
• Parallell med utbildning
Vad ingår i en validering av reell
kompetens:
z
z
z
Kartläggning och bedömning
Kartläggning och bedömning
med medföljande komplettering
Kartläggning, bedömning och
komplettering sker integrerat
Bedömning av Reell kompetens!
• Validering i samband med antagning högre studier eller
tillgodoräknande
• Egen beskrivning av vad man kan åtföljs av bevis, ex
anställningsintyg
• Särskild behörighet, programansvarig eller studierektor
• Den reella kompetensen att klara av en
högskoleutbildning eller att klara ett framtida yrke?
Kvalitet i bedömningen av reell kompetens inom högre
utbildning (Stenlund, 2010):
1. Proceduren för bedömningen bör var tydligt definierad för de som
söker, involverad personal (som ex bedömare), och intressenter.
Kriterier för att bedöma reell kompetens skall också inkluderas.
2. Bedömningen skall mäta och värdera reell kompetens utan att ta
hänsyn till var eller hur man erhållit kompetensen.
3. Den akademiska institutionen är ansvarig för bedömningen
4.
Bedömningen av reell kompetens bör vara valid and reliabel.
5. Bör ha samma kvalitetskrav som andra mer traditionella
bedömningar.
6.
De som genomgår bedömningen bör få hjälp och vägledning
genom processen, och de bedömare som är involverade i
processen bör ha rätt utbildning.
7.
Förbättring och utvärdering av bedömningens kvalitet bör ske
kontinuerligt.
Gemensamma principer (EU, 2004)
• Individuella rättigheter
- Frivillig, rättvis, tillgång, respekt
• Aktörernas förpliktelser
- Fastställa system och metoder, kvalitet, vägledning och information
• Tillit och förtroende
- Genomskinlighet, rättvisa, kvalitet
• Trovärdighet och legitimitet
- Opartiskhet, undvika intressekonflikter, professionell kompetens
Varför är det viktigt med kvalitet i bedömningen av reell
kompetens?
• High stake!
- Ju större konsekvenser en bedömning får för individen desto
viktigare är det att bedömningen är rättvis och tillförlitlig
- Resultatet från bedömningen av reell kompetens inför högre
studier får stora konsekvenser för individens framtida yrkeskarriär.
• Credibility/trovärdighet
- Validitetsstudier är viktiga för bedömningens trovärdighet.
Vilka blir konsekvenserna för samhället om bedömning inte är
tillförlitlig?
Kvalitet i en bedömning eller mätning?
Rättvisa:
¾Validitet
Tillförlitlighet:
¾Reliabilitet
Validitet
”Att bedöma det som är syftet att bedöma och inget annat.”
• Två stora hot:
- Construct irrelevant variance, man
inkluderar något som inte borde
ingå i bedömningen
- Construct underrepresentation, man
bedömningen
utelämnar något som borde ingå i
Reliabilitet
Bedömningens tillförlitlighet
- graden av samstämmighet i en upprepad mätning av samma objekt
• Två stora hot:
- ”interrater variation”, avsaknad av bedömaröverensstämmelse, d.v.s. resultatet
beror på vem som gör bedömningen
- ”temporal instability” resultatet beror på när bedömningen genomförs
Konvergent/bevis grundad bedömningsmodell
Kvalitet:
• Validitet
- Informell kompetens relateras till kriterier utvecklade för
formell kompetens
• Reliabilitet
- Har potential till att vara hög
Övrigt
- Kräver mindre tid (mer ekonomiskt?)
- Vanligast i dag
Divergent/process grundad bedömningsmodell
Kvalitet:
• Validitet
- Stor variation av reell kompetens
• Reliabilitet
- Kan vara svår att mäta
Övrigt
- Tidsödande (=dyrt)
- Utvecklande för individen? Ökat självförtroende?
Vilket/vilka av alternativen nedan innebär att bedömningen
av reell kompetens har en hög grad av validitet, dvs är
valid?
1.
Bedömningens resultat grundas på en individs beskrivning av sin egen kompetens, eller
en så kallad självärdering.
2.
Bedömningen utgår ifrån en stor mängd kriterier.
3.
En person som vill validera sin yrkeskompetens för att bli certifierad/formell
bilmekaniker testas genom intervjuer och en salstenta i fordonsmekanik.
4.
Bedömningen inför att komma in på en utbildning grundas på hur många år som en
individ har arbetat i en viss bransch.
5.
En individ som vill validera sin kompetens i syfte att tillgodoräkna sig poäng inom en
utbildning får göra samma prov/tenta som de som läser kursen.
Modell för utvärdering av hot mot validitet i bedömningar
(Crocks, Kane, & Cohen,1996)
1.Administrering
2.Scoring/poängsättning
3.Aggregation/total poäng
6.Evaluation/värdering
7.Decision/Beslut
4.Generalization
5.Extrapolation
8.Impact/Konsekvenser
1. Administration
Möjliga hot:
- Genomförandet, vilka procedurer som följs, instruktioner och
presentationen kan påverka resultatet av bedömningen
- Resultatet kan antingen bli oförtjänt bättre eller sämre om man
inte följer lämpliga procedurer
- Motivationen kan bli påverkad av hur man administrerat och
presenterar proceduren
2. Scoring, 3. Aggregation and 4. Generalization
“Reliabilitet”
Möjliga hot:
- Brist på intra-rater or inter-rater överensstämmelse
- Svag bedömningsgrund
- För holistisk poängsättning (scoring)
5. Extrapolation/Samstämmigheten mellan det som bedöms
och de riktlinjer som säger vad som ska bedömas
Möjliga hot:
- construct under-representation
- construct irrelevant variance
6. Evaluation/ hur man formar bedömningarna
Möjliga hot:
- Olämpliga bedömningar, ex. Positive eller negative bias
- Misslyckas att känna igen bedömningens begränsningar
7. Decision/Beslut tagna som följd av bedömningen
Möjliga hot:
- Olämpliga kriterier
- Pedagogiskt dåliga beslut
8. Impact, konsekvenser för deltagarna som följd av
bedömningsprocessen
Möjliga hot:
- Positiva konsekvenser blir inte uppfyllda
- Negativa konsekvenser uppstår
Vägledarens viktiga roll!
– Första kontakten
– Urvalet
“The validity and trustworthiness of the assessment could be
improved by educating staff working with APL of the nature of
their judgement process, and threats underlying a valid
assessment! (Stenlund, in press)”
Tack för mig!
Lite referenser (om ni vill läsa mer):
Crooks, T. J., Kane, M. T., & Cohen, A. S. (1996). Threats to the valid use of assessments. Assessment in
Education: Principles, Policy and Practice, 3(3), 265-285.
Stenlund, T. (2010) Assessment of Prior Learning in Higher Education: a review from a validity
perspective. Assessment & Evaluation in Higher Education.35: 7, 783-797, First published on: 04
august 2009, iFirst.
Stenlund, T. (in press) Threats to the valid use of Assessment of Prior Learning in Higher Education:
Claimants` experiences of the assessment process. Assessment in Education: Principles, policy and
practice
Valideringsdelegationens slutrapport, 2008, http://www.skolverket.se/sb/d/2521