Kunskapsmätningar

advertisement
Kunskapsmätningar
8
8. Kunskapsmätningar
8. Internationella kunskapsoch attitydmätningar
Jämförande internationella studier
1964–2003
Källor och tabellhänvisningar för detta avsnitt,
se sist i kapitlet.
I detta kapitel beskrivs de viktigast internationella kunskapsoch attitydmätningarna under perioden 1964-2003, med
tonvikt på undersökningar gjorda på 2000-talet. Kapitlet är
indelat efter ämnesområde och inom varje område beskrivs,
i tidsordning, kortfattat de viktigaste undersökningarna och
resultaten för varje undersökning ur ett svenskt perspektiv.
Därefter följer en sammanfattning av de så kallade PISA-undersökningarna 2000 och 2003. Sist i kapitlet visas en översikt
av Sveriges resultat i läsförståelse, matematik och naturvetenskap i jämförelse med andra länder.
Organisationer som genomför internationella
kunskaps- och attitydmätnignar
IEA
OECD
Syftet med IEA-studierna har varit att beskriva och jämföra elevers prestationer samt att jämföra
deras inställning till ämnesområdena läsförståelse, matematik
och naturvetenskap, nationellt
och internationellt. För att bättre kunna förstå och förklara har
i vissa studier ytterligare information hämtats in via elev-, lärar- och skolledarenkäter.
OECD som sedan länge arbetat
med internationella utbildningsindikatorer började under 1990talet att genomföra internationella
jämförande studier. En orsak var
att regelbundna och tillförlitliga
mått på utbildningsprestationer i
OECD-länderna saknats. Den första av OECD:s jämförande studier
undersökte i vilken utsträckning
vuxna kan använda sin läsförmåga
i sitt dagliga liv. På 2000-talet är
det PISA-undersökningarna som
110
satts i fokus. Fler än en kvarts
miljon 15-åriga elever i mer än
30 länder har under 2000 och
2003 testats i läsförståelse, matematik och naturvetenskap. I Pisa
2003 tillkom undersökning av
problemlösningsförmåga.
Övriga
Utöver IEA:s och OECD:s kunskaps- och attitydmätningar sker
samarbete mellan olika länders
skolmyndigheter som resulterar
i olika undersökningar.
SCB, Svensk utbildning i internationell statistik
Läsförståelse
IEA1/LF 1970
Den första läsförståelseundersökningen genomfördes 1970. Femton
länder deltog, men alla länder medverkade inte i alla delar. Studien
omfattade 10-åringar, 14-åringar och elever i gymnasieskolans avgångsklasser.
1) International Association for Evaluation of Educational Achievement.
Läsförståelse
8. Kunskapsmätningar
Svenska 10-åringar i topp
De svenska 10-åringarna hamnade i topp i läsförståelse, medan 14-åringarna hamnade på sjunde plats bland de deltagande
länderna. Även de svenska eleverna i gymnasieskolans avgångsklasser hade liksom 14-åringarna ett medelresultat. Med
få undantag hade länder med goda resultat för 14-åringar även
goda resultat för elever i avgångsklasserna från gymnasiet.
IEA/LF 1991
I den andra internationella studien i läsförståelse 1991 deltog 31 länder. Sverige deltog med 9-åringar och 14-åringar.
Sverige på tredje plats
Jämfört med den första studien 1970 var de svenska eleverna
relativt sett något bättre, men skillnaden var inte signifi kant.
Sverige låg på tredje plats i de båda undersökta åldersgrupperna. Finland kom på första plats. De länder som hade goda
resultat för de yngre eleverna hade det i allmänhet också för
de äldre.
IALS1 1994–1998
IALS var den första internationella undersökningen om vuxnas läsförmåga. Den genomfördes i drygt 20 länder, varav de flesta var eller har
blivit medlemmar i OECD.
Undersökningen genomfördes 1994–98 och de första resultaten presenterades 2000. Resultaten för varje individ i undersökningen rangordnades på en skala som därefter grupperades i följande fyra nivåer av
läsförmåga.
Nivå 1: Mycket dålig förmåga att tillgodogöra sig information
Nivå 2: Klarar endast enkla, välstrukturerade uppgifter
Nivå 3: Bedömd lägsta nivå för att klara kraven i dagens samhälle
Nivå 4/5: Mycket god förmåga att bearbeta information
1) The International Adult Literacy Survey.
SCB, Svensk utbildning i internationell statistik
111
Läsförståelse
8. Kunskapsmätningar
Sveriges vuxna i topp
Sverige hade det högsta värdet i studien. Tre fjärdedelar av alla
svenska deltagare, 16–65 år, uppnådde minst nivå 3. Motsvarande andel för de övriga nordiska länder var under 70 procent. Sverige hade dessutom en större andel på nivå 4/5.
De lägsta resultaten fanns i Polen, Portugal och Chile. I Polen och Portugal uppnådde endast var fjärde person i åldern
16–65 minst nivå 3, i Chile endast var sjätte.
Data för elva jämförbara länder visar att resultaten för invandrarna var klart lägre än för den infödda befolkningen. I
Sverige och Norge uppnådde dock nästan hälften av invandrarna minst nivå 3.
Andel av befolkningen (16–65 år) som uppnådde nivå 3–5
i läsförmåga. Urval av länder
Nivå 3
Nivå 4–5
Sverige
Norge
Danmark
Finland
Tyskland
Kanada
Australien
USA
Storbrit.
Polen
Portugal
Chile
0
10
20
30
40
50
60
70
80
Procent
PIRLS1 2001/TREND 2001
PIRLS är en stor internationell studie av läsförmågan hos elever i åldern
9–10 år (årskurs 3–4 i Sverige) som genomfördes av IEA år 2001. Trettiofem länder deltog, däribland Sverige med cirka 300 skolor och 16 000
elever. Resultat presenterades första gången våren 2003.
Studien undersökte förutom läsförmågan också läsvanor och attityder till läsning, vilken typ av texter som läses och i vilka sammanhang
läsning sker. Studien omfattar inte enbart elever utan även rektorer, lärare och föräldrar.
För nio länder, däribland Sverige, ingår också en trendstudie (TREND
2001) där elevernas resultat 2001 jämförs med en motsvarande undersökning 1991.
1) Progress in International Reading Literacy Study.
112
SCB, Svensk utbildning i internationell statistik
Svenska fjärdeklassare i topp
De svenska fjärdeklassarna hade den högsta genomsnittliga
poängen (561) av samtliga länder. Över 550 i medelpoäng
noterades även för elever i Nederländerna och England. Bland
länder med medelpoäng under 500 fanns bland andra Norge
och Turkiet. De svenska resultaten var relativt väl samlade,
då skillnaden mellan de hög- och lågpresterande eleverna var
liten. De svenska eleverna hade de bästa resultaten både i att
läsa skönlitterära texter och i informationsläsning.
Läsförståelse
8. Kunskapsmätningar
Flickornas läsförmåga bättre än pojkarnas
I samtliga deltagande länder visade fl ickorna en klart bättre
läsförmåga än pojkarna. Studien visade även att fl ickorna i
Sverige tyckte om att läsa och var påtagligt mer nöjda med sin
egen läsförmåga än pojkarna.
Tioåringarnas läsförmåga i utvalda länder efter
medelpoäng och kön
Sverige
Nederl.
USA
Italien
Tyskland
Frankrike
Norge
Medelvärde
490 500 510 520 530 540 550 560 570 580
Medelpoäng
SCB, Svensk utbildning i internationell statistik
113
Läsförståelse
8. Kunskapsmätningar
Försämrad läsförståelse bland elever i årskurs 3
Resultaten har försämrats för svenska elever i årskurs 3 när det
gäller läsförmågan mellan åren 1991 och 2001. Det gäller både
läsförståelse och läshastighet. Förutom Sverige var det enbart
USA:s årskurs 3 elever som försämrat sin läsförmåga.
Nioåringars (årskurs 3) totalresultat (medelvärde) på läsproven
för år 1991 och 2001
USA
Sverige
Italien
Nya Zeeland
Island
Singapore
År 1991
Grekland
År 2001
Ungern
Slovenien
440 450 460 470 480 490 500 510 520 530
Medelpoäng
PISA1-Läsförståelse 2003
Läsförståelse syftar till att studera elevers förmåga att söka information
och tolka texter. Ett annat syfte är att bedöma elevernas förmåga att reflektera över och bedöma texters innehåll och form, för att uppnå sina
egna mål, utveckla sina kunskaper och kunna delta i samhällslivet. Läsförståelse definieras således bredare än att bara gälla läs- och skrivförmåga.
Elevernas resultat beskrivs på fem olika prestationsnivåer. Det innebär
att deras prestationer utöver att rangordnas också beskrivs i termer av
vad de kan göra. Elever på nivå 1 kan endast klara enklare läsuppgifter
medan elever på nivå 5 klarar av mycket komplicerade läsuppgifter.
1) Program for International Student Assessment.
Svenska 15-åringar har god läskompetens
Av eleverna i OECD-länderna uppnådde i genomsnitt åtta
procent nivå 5. I Sverige var motsvarande siffra 11 procent.
Mer än 15 procent av eleverna i Australien, Finland och Nya
Zeeland uppnådde nivå 5.
114
SCB, Svensk utbildning i internationell statistik
Finland tillsammans med Sydkorea hade lägst andel elever, 67 procent, på eller under nivå 1. I Sverige var motsvarande andel 13 procent. I övriga OECD-länder varierade andelen elever
på eller under nivå 1 med mellan 10 och 52 procent.
Av PISA 2003 framgår att Sverige tillhör de åtta OECD-länder där mellan 65 och 80 procent klarar minst nivå 3, vilket
innebär att eleven klarar av att lösa medelsvåra uppgifter.
Läsförståelse
8. Kunskapsmätningar
Andel elever på olika prestationsnivåer på läsförståelseskalan,
PISA 2003. Urval av länder
(Medelpoäng)
Finland (543)
Sydkorea (534)
Australien (525)
Sverige (514)
Norge (500)
USA (495)
Danmark (492)
Italien (476)
0
Nivå 0–1
10
20
30
40
Nivå 2
50
Nivå 3
60
70
80
90 100
Procent
Nivå 4
Nivå 5
Flickorna fortfarande klart bättre än pojkarna
Skillnaderna mellan könen i läsförståelse var stora till fl ickornas fördel 2003. Det gällde både i Sverige och i övriga OECDländer. Det skiljde i genomsnitt 34 poäng till fl ickornas fördel
inom OECD-länderna, genomsnittspoängen för fl ickorna var
511, genomsnittet för pojkarna 477.
Motsvarande siffror för Sverige var 533 respektive 496 poäng. Skillnaden, mellan könen i Sverige, 37 poäng, var lägre
än skillnaderna i Finland, Norge och Island.
SCB, Svensk utbildning i internationell statistik
115
Läsförståelse
8. Kunskapsmätningar
Elever i Sverige med utländsk bakgrund, födda utomlands presterade sämre än OECD-genomsnittet
Elever födda i Sverige med helt svensk bakgrund visade de
högsta medelpoängen av de svenska elevgrupperna. Elever
födda i Sverige men med utländsk bakgrund presterade något
sämre men ändå klart bättre än OECD-genomsnittet. Skillnaden mot de med helt svensk bakgrund var ungefär som i
OECD i genomsnitt. Svenska elever med utländsk bakgrund
födda utomlands presterade klart sämre än OECD-genomsnittet för motsvarande grupp.
Medelpoäng i läsförståelse uppdelat efter migrationsbakgrund. PISA 2003 och PISA 2000
Infödda
Utländsk
bakgrund
födda i
landet
Utländsk
bakgrund
födda
utomlands
522
499
502
475
433
452
524
506
484
467
451
446
PISA 2003
Sverige
OECD-genomsnitt
PISA 2000
Sverige
OECD-genomsnitt
116
SCB, Svensk utbildning i internationell statistik
Matematik
FIMS1 1964
Den första matematikundersökningen (FIMS) genomfördes år 1964.
Tretton länder deltog. Studien omfattade 13-åringar och avgångsklasser i gymnasieskolan.
Matematik
8. Kunskapsmätningar
1) First Internationell Mathematics Study.
Svenska 13-åringar bland de sämst presterande
De svenska 13-åringarnas resultat tillhörde de sämsta, medan
avgångseleverna i gymnasieskolan hade medelgoda resultat. I
likhet med USA, som tillsammans med Sverige hade de lägsta
genomsnittliga resultaten, var resultaten något oväntade och
väckte en viss debatt. Den nya grundskolan, som infördes 1962
i Sverige, ansågs av vissa kritiker som en av orsakerna till de
låga resultaten.
SIMS1 1980
Den andra internationella matematikstudien, SIMS, genomfördes 1980
med 17 deltagande länder. För att man skulle kunna göra jämförelser av
elevernas kunskaper över tid ingick 41 uppgifter från 1964 års prov för
13-åringar (årskurs 7) i 1980 års undersökning.
1) Second International Mathematics Study.
Svaga matematikkunskaper bland de svenska
eleverna i årskurs 7
Prestationerna för de svenska eleverna i årskurs 7 var i stort
sett lika låga som vid 1964 års undersökning. Resultatet för
de svenska avgångseleverna från gymnasieskolan var, liksom
1964, medelgoda.
Sämst var de svenska 13-åringarna, tillsammans med bland
andra eleverna i Nigeria och Swaziland, i aritmetik, algebra
och geometri. Inom övriga matematikområden presterade de
svenska 13-åringarna som genomsnittet.
De svaga resultaten för de svenska eleverna ledde till ett intensivt och omfattande arbete, vilket bland annat mynnade ut
i ett politiskt åtgärdspaket. Paketet innehöll ett trettiotal omedelbara och ett tiotal mera långsiktiga åtgärder för att förbättra
utbildningen i matematik.
SCB, Svensk utbildning i internationell statistik
117
Matematik
8. Kunskapsmätningar
TIMSS1 1995
Den tredje internationella matematikstudien (TIMSS 1995) samordnades med den tredje internationella studien i naturvetenskap.
Sverige deltog med ett urval av 13-åringar samt ett urval av elever
från gymnasieskolans avgångsklasser uppdelade på elever från N- och
T-linjer/program samt övriga linjer/program. I undersökningen som riktade sig till 13-åringar deltog 43 länder varav 25 länder hade samma
typ av urval som Sverige. I gymnasiestudien deltog 23 länder.
1) Trends in International Mathematics and Science Study.
Förbättrade kunskaper för de svenska eleverna
Resultaten för de svenska 13-åringarna var klart bättre jämfört med 1980 års studie (SIMS 1980). De svenska eleverna
presterade över det internationella genomsnittet i bland annat
statistik och mätningar. Däremot presterade de svenska 13åringarna under genomsnittet i algebra och geometri. Jämfört
med många andra länder var skillnaderna mellan fl ickornas
och pojkarnas resultat relativt små.
Bland eleverna på den avslutande årskursen i gymnasieskolan var resultaten mycket goda. Endast två länder (Frankrike och Schweiz) hade signifi kant bättre resultat än de svenska eleverna på naturvetenskaplig och teknisk linje/program.
Även elever på övriga linjer/program hade mycket goda resultat. Jämfört med de svenska 13-åringarna var prestationerna
hos pojkarna på gymnasiet signifi kant bättre än fl ickornas.
Flertalet övriga länder uppvisade en likartad bild.
TIMSS 2003
I TIMSS 2003 deltog över 50 länder. Från Sverige deltog 4 300 elever i
årskurs 8. Syftet med TIMSS 2003 var både att mäta kunskapsläget år
2003 men också att kunna jämföra resultaten med TIMSS 1995. Det var
möjligt att jämföra resultaten från 16 länder som alla uppfyllde kraven
för trendstudier.
Försämrade svenska resultat i matematik
Mellan 1995 och 2003 försämrades resultaten i matematik för
Sverige relativt kraftigt. Den genomsnittliga poängen sjönk
från 540 poäng 1995 till 499 poäng 2003. Inget annat land
hade en lika stor nedgång. Norge hade den näst största nedgången med 37 poäng.
Sverige hamnade med sina 499 poäng år 2003 på fjortonde
plats i 20-landsgruppen1 vars genomsnitt låg på 516 poäng.
1) 20-landsgruppen utgörs av länder som ligger i vår närhet och/eller har levnadsvillkor som motsvarar Sveriges.
118
SCB, Svensk utbildning i internationell statistik
Parallellt med TIMSS 2003 gjordes ytterligare två stora undersökningar som bland annat innefattade matematik: NU 03
och PISA 2003. NU 03-studien och TIMSS 2003 visar på en
mycket kraftig nedgång i matematikkunskaper bland svenska
elever från början av 90-talet fram till 2003. PISA-undersökningarna visar i stort sett oförändrade resultat mellan 2000
och 2003. Detta indikerar en kraftig nedgång i matematikkunskaperna under 1990-talet och att de i början av 2000-talet låg
kvar på en relativt låg nivå.
Jämfört med flertalet andra länder i 20-landsgruppen hade
de svenska eleverna mindre undervisningstid i matematik och
färre läxor och prov. Den svenska lärarkåren var mindre erfaren 2003 jämfört med 1995. Sverige var det land som hade de
näst minsta klasserna, 21 elever per klass. Bara Belgien hade
mindre klasstorlek, 20 elever per klass.
I TIMSS 2003 delades matematiken upp i fem huvudområden: aritmetik, algebra, geometri, mätningar och statistik.
Svenska elever presterade signifi kant sämre i geometri och
algebra och signifi kant bättre i statistik än 20-landsgruppens
genomsnitt. Jämfört med TIMSS 1995 var mönstret med starka och svaga sidor i matematik detsamma.
Matematik
8. Kunskapsmätningar
Genomsnittsprestationer inom olika huvudområden i
matematik. TIMSS 2003
Länder
Genomsnittliga prestationer i matematik (skalpoäng )
AritAlgeMätGeoStatisTotalt
metik
bra
ningar
metri
tik
Singapore
Sydkorea
Japan
Belgien (flandl)
Nederländerna
605
589
570
537
536
618
586
557
539
539
590
597
568
523
514
611
577
559
535
549
580
598
587
527
513
579
569
573
546
560
Estland
Ungern
Lettland
Ryska fed.
Slovakien
531
529
508
508
508
523
529
507
505
514
528
534
508
516
505
528
525
500
507
508
540
515
515
515
501
535
526
506
484
495
Australien
USA
Litauen
Sverige
Skottland
505
504
502
499
498
498
508
500
496
484
499
510
501
480
488
511
495
492
512
508
491
472
506
467
491
531
527
502
539
531
Nya Zeeland
Slovenien
Italien
Norge
Cypern
494
493
484
461
459
481
498
480
456
464
490
487
477
428
455
500
496
500
481
459
488
483
469
461
457
526
494
490
498
458
20-landsgruppen 516
514
510
518
509
523
SCB, Svensk utbildning i internationell statistik
119
Matematik
8. Kunskapsmätningar
PISA-Matematik 2000 och 2003
Målet med matematik i PISA är att utvärdera elevers förmåga att tillämpa matematiska kunskaper och färdigheter i en mängd olika realistiska
situationer. I PISA-studien har fokus förskjutits till att se matematiken
som en meningsfull problemlösande aktivitet i stället för en samling begrepp och färdigheter att bemästra.
I PISA 2003 omfattar matematiken fyra delområden: Rum och Form
(t.ex. geometri), Förändringar och samband (till exempel funktioner
och ekvationer), Kvantitet (t.ex. taluppfattning och aritmetik) samt
Osäkerhet (t.ex. sannolikhetslära och statistik). Elevernas resultat har
sammanställts på en skala per delområde och dessutom på en skala
som summerar resultaten från de fyra matematikområdena.
Utifrån dessa skalor går det att identifiera sex olika prestationsnivåer.
– Nivå 1: klarar endast rutinmässiga beräkningar.
– Nivå 4: kan arbeta effektivt med matematiska symboler och förklara
tolkningar och resonemang på ett flexibelt och insiktsfullt sätt.
– Nivå 6: kan modellera komplexa problem, visa prov på avancerat matematiskt tänkande och utveckla nya strategier för problemlösning.
Svenska elever något bättre än OECD-genomsnittet
i matematik
Det genomsnittliga resultatet i PISA 2003 för de svenska 15åringarna var 509 poäng på den kombinerade matematikskalan, vilket var något bättre än OECD-genomsnittet på 500
poäng. Finland (544), Korea (542) samt Nederländerna (538)
var de länder som hade de högsta medelvärdena. Ytterligare
sex OECD-länder hade signifi kant bättre resultat än Sverige,
nämligen Japan, Kanada, Belgien, Schweiz, Australien och
Nya Zeeland.
Inom Norden var det endast de norska 15-åringarna som
hade ett sämre resultat än de svenska. De svenska eleverna
följer väl fördelningen över nivåerna inom OECD-länderna,
med den enda skillnaden att en något mindre andel svenska
elever når högst nivå 1. I jämförelse med Norden (inkl. Sverige) är det tvärtom, Sverige har en något högre andel som endast når upp till nivå 1.
Procentuell andel elever efter uppnådd nivå i matematik för
svenska och nordiska elever samt OECD-genomsnittet. PISA
2003
Sverige
Norden
OECD
120
Nivå 0–1
Nivå 2
Nivå 3
Nivå 4
Nivå 5
17
15
21
22
20
21
25
26
24
20
22
19
12
12
11
Nivå 6
4
5
4
SCB, Svensk utbildning i internationell statistik
Inga större förändringar i matematikresultaten
I de 25 länder för vilka jämförande matematikresultat finns
från PISA 2000 och PISA 2003 skedde inga större förändringar mellan undersökningarna. Det var framförallt de bättre
eleverna som presterade något sämre 2003 jämfört med 2000.
Matematik
8. Kunskapsmätningar
Högre medelvärden i matematik för pojkarna
I samtliga länder, Island undantaget, var pojkarnas medelvärden i matematik högre än fl ickornas, skillnaderna var dock
relativt små. I Finland och Sverige var skillnaderna mellan
könen små, i Danmark något större medan det i Norge inte
fanns någon signifi kant skillnad alls. Största skillnaderna
mellan könen hade Sydkorea.
Skillnaderna mellan könen var störst inom OECD totalt,
som i Sverige, på delområdena Rum och form samt Osäkerhet.
För delområdena Samband och förändring samt Kvantitet var
skillnaderna mindre inom OECD. I Sverige fanns inom dessa
områden ingen signifi kant skillnad mellan pojkar och fl ickor.
Pojkar och flickors kunskaper i matematik rangordnade efter
medelvärde. Urval av länder. PISA 2003
Finland
Sydkorea
Kanada
Island
Danmark
Sverige
Norge
Spanien
USA
Norden
OECD
470 480 490 500 510 520 530 540 550 560
Medelpoäng
SCB, Svensk utbildning i internationell statistik
121
Matematik
8. Kunskapsmätningar
Elever med utländsk bakgrund klarade
matematiken sämre
För OECD-länderna var prestationsskillnaderna i matematik relativt stora mellan infödda och de med utländsk bakgrund (födda i landet eller utomlands). För Sverige var denna
skillnad ännu större, eleverna med utländsk bakgrund födda
utomlands hade i genomsnitt nästan 100 poäng sämre resultat
än de infödda, 425 mot 517. OECD-genomsnittet för denna
skillnad var endast 39 poäng.
I Australien och USA fanns inga mätbara skillnader i prestation mellan infödda och elever med utländsk bakgrund
om hänsyn togs till deras socioekonomiska bakgrund. För det
genomsnittliga OECD-landet och för Sverige fanns däremot
signifi kanta skillnader, 19 respektive 55 poäng till de infödda elevernas fördel. Endast Portugal och Belgien hade större
skillnader än Sverige med 82 respektive 68 poäng.
Det var inga signifi kanta skillnader i resultat mellan infödda och elever med utländsk bakgrund födda i Sverige.
Medelpoäng i matematik uppdelat efter migrationsbakgrund
för PISA 2003 och PISA 2000
Infödda
122
Utländsk
bakgrund
födda i
landet
Utländsk
bakgrund
födda
utomlands
PISA 2003
Sverige
OECD-genomsnitt
517
505
483
481
425
466
PISA 2000
Sverige
OECD-genomsnitt
517
504
466
474
446
456
SCB, Svensk utbildning i internationell statistik
Naturvetenskap
FISS1 1970/71
Under åren 1970–71 mättes för första gången elevernas kunskaper i fysik, kemi och biologi. Nitton länder deltog.
Studien omfattade 10-åringar, 14-åringar och elever i gymnasieskolans
avgångsklasser.
1) First International Science Study.
Naturvetenskap
8. Kunskapsmätningar
Sverige – stora skillnader i resultat mellan olika
åldersgrupper
De svenska eleverna uppvisade ett varierande resultat i olika
åldersgrupper jämfört med elever i andra länder. 10-åringarna
nådde de näst bästa resultaten efter Japan. De svenska 14åringarna presterade lägre än genomsnittet i de flesta industriländerna. I jämförelse med alla deltagande länder presterade
dock de svenska 14-åringarna ett genomsnittligt resultat.
De svenska gymnasieeleverna klarade sig bra med en femte
plats. Pojkarna presterade mycket bättre än fl ickorna, framför
allt i fysik och kemi.
SISS1 1983
I den andra internationella studien i naturvetenskap (SISS) deltog 24
länder. Studien genomfördes 1983 och omfattade 10-åringar/årskurs 4,
14-åringar/årskurs 8 och elever i gymnasieskolans avgångsklasser med
inriktning mot naturvetenskap eller teknik
1) Second International Science Study.
Förbättrade prestationer
De svenska grundskoleelevernas (årskurs 4 och 8) prestationsnivå var mycket bra i jämförelse med andra länder. Eleverna i
den svenska gymnasieskolan presterade medelgoda resultat.
Jämfört med undersökningen 1970 var elevernas prestationer i naturvetenskap bättre såväl i Sverige som i flertalet andra
länder. I Sverige var det framförallt fl ickorna och de lågpresterande elever som höjt sina resultat.
SCB, Svensk utbildning i internationell statistik
123
Naturvetenskap
8. Kunskapsmätningar
TIMSS 1995
Den tredje studien i naturvetenskap samordnades med den tredje studien i matematik. Sverige deltog med ett urval av 13-åringar samt elever i gymnasieskolans avgångsklasser. I åldersgruppen 13 år deltog 43
länder varav 25 länder hade samma typ av urval som Sverige. I gymnasiestudien deltog 23 länder.
Förbättrade resultat för svenska 13-åringar
De svenska 13-åringarna hade ett något bättre resultat i naturvetenskap än det internationella genomsnittet. I samma
resultatgrupp som Sverige återfanns bland andra Norge, USA
och Kanada. Jämfört med resultaten i 1983 års undersökning
(SISS 1983) hade resultaten förbättrats något. Skillnaderna
mellan pojkarnas och fl ickornas prestationer från tidigare studier fanns kvar. Pojkarna hade bättre resultat i fysik och kemi
medan fl ickorna hade bättre resultat i biologi.
De svenska eleverna i den avslutande årskursen på naturvetenskaplig och teknisk linje/program hade resultat som låg
klart över genomsnittet och toppresultat i fysik. Även eleverna
på övriga linjer/program hade mycket bra resultat. Skillnaderna mellan könen var större bland gymnasieeleverna än bland
13-åringarna.
TIMSS 2003
I TIMSS 2003 deltog över 50 länder. Från Sverige deltog 4 300 elever
i årskurs 8. Syftet med TIMSS 2003 var dels att mäta kunskapsläget år
2003, dels att kunna jämföra resultaten med TIMSS 1995. Jämförelser
gjordes mellan 16 länder som uppfyllde kraven för trendstudier.
Kunskapsnivån i naturvetenskap sjönk för de
svenska eleverna
Kunskapsnivån för de svenska eleverna i årskurs 8 minskade
från 553 poäng i TIMSS 1995 till 524 i TIMSS 2003. Trots detta
var resultaten signifi kant bättre än genomsnittsvärdet för
samtliga deltagande länder i båda undersökningarna. För de
länder som deltog i båda undersökningarna ökade medelvärdet något, från 516 till 518 poäng. Största ökningen noterades
för Litauen (+ 55 poäng) och Hong Kong (+ 47). Sverige (- 29
poäng) var tillsammans med Norge (- 20 poäng ) de länder
vars resultat försämrats mest.
124
SCB, Svensk utbildning i internationell statistik
Det internationella medelvärdet i TIMSS 2003 var 471 för
fl ickorna och 477 för pojkarna. Sverige följde det internationella mönstret och pojkarna låg 8 poäng högre än fl ickorna. I sju
länder presterade fl ickorna signifi kant bättre än pojkarna.
Biologi, fysik och kemi utgör kärnan i naturvetenskap. I
biologi och fysik låg de svenska elevernas resultat i mitten
av 20-landsgruppen medan de presterade bättre i kemi. De
svenska fl ickornas resultat hade förbättrats mer i kemi och
biologi mellan 1995 och 2003 än pojkarnas.
Naturvetenskap
8. Kunskapsmätningar
Genomsnittsprestationer bland elever i årskurs 8 i olika
huvudområden inom naturvetenskap (TIMSS 2003)
Länder
TIMSS 2003
Totalt1
Biologi
Fysik
Kemi
Singapore
Sydkorea
Estland
Japan
Ungern
578
558
552
552
543
569
558
547
549
536
579
579
544
564
536
582
529
552
552
560
Nederländerna
Australien
USA
Sverige
Slovenien
536
527
527
524
520
536
532
537
528
523
538
521
515
525
515
514
506
513
526
501
Nya Zeeland
Litauen
Slovakien
Belgien (flaml.)
Ryska fed.
520
519
517
516
514
521
517
514
526
514
509
519
519
514
511
532
534
519
503
527
Lettland
Skottland
Norge
Italien
Cypern
512
512
494
491
441
511
512
496
498
437
512
515
488
470
450
514
499
485
487
443
20-landsgruppen
523
523
521
519
20-landsgruppen utgörs av länder som ligger i vår närhet och/eller har levnadsvillkor som motsvarar Sveriges.
1) I Totalt ingår förutom biologi, fysik, kemi även geovetenskap och miljövetenskap.
SCB, Svensk utbildning i internationell statistik
125
Naturvetenskap
8. Kunskapsmätningar
PISA Naturvetenskap 2000 och 2003
Frågorna om naturvetenskap avser att mäta elevernas förmåga att använda och förstå naturvetenskapliga teorier, modeller och begrepp.
Vidare ska de mäta elevernas förmåga att förstå ett naturvetenskapligt
arbetssätt för att tolka, bedöma och kommentera texter med naturvetenskapligt innehåll.
Större spridning i naturvetenskapligt kunnande
I PISA 2003 uppnådde Finland och Japan de högsta resultaten
(548 poäng) i naturvetenskapligt kunnande. Sveriges medelvärde var 506 poäng, vilket var något bättre än OECD-genomsnittet.
Svenska 15-åringars resultat hade inte förändrats nämnvärt
jämfört med PISA 2000. Ett flertal andra länder hade förbättrat
sina resultat, till exempel Finland, Grekland och Tyskland. De
länder, vars resultat försämrats mest jämfört med PISA 2000,
var Norge och Österrike.
Spridningen mellan de svenska 15-åringarnas resultat har
ökat då de bäst presterande eleverna blivit bättre medan de
lägst presterande eleverna presterat lägre jämfört med PISA
2000. Detta gäller även flertalet länder inom OECD.
Även skillnaden mellan infödda och de med utländsk bakgrund födda utomlands hade ökat, framförallt i Sverige. I PISA
2000 var skillnaden i Sverige mellan födda i Sverige och de
med utländsk bakgrund födda utomlands 79 poäng. I PISA
2003 hade skillnaden ökat till 107 poäng.
Inga större skillnader mellan pojkar och flickor
I ett genomsnittligt OECD-land presterade pojkarna 6 poäng
bättre än fl ickorna, men skillnaderna till pojkarnas fördel var
bara signifi kanta i 11 OECD-länder. I Sverige var motsvarande
skillnad inte signifi kant. Finland och Island var de enda länder
där fl ickorna presterade signifi kant bättre än pojkarna i naturvetenskap.
126
SCB, Svensk utbildning i internationell statistik
Fördelning per land som presterar under 400 poäng, mellan
400–600 poäng respektive över 600 poäng i naturvetenskap
Urval av länder samt genomsnitt för Norden och OECD, PISA 2003
(Medelpoäng)
Finland (548)
Japan (548)
Sydkorea (538)
Australien (525)
Nederl. (524)
Naturvetenskap
8. Kunskapsmätningar
Kanada (519)
Frankrike (511)
Sverige (506)
Tyskland (502)
Island (495)
USA (491)
Norge (484)
Danmark (475)
Turkiet (434)
Norden (502)
OECD (500)
0
10
20
30
Under 400
poäng
SCB, Svensk utbildning i internationell statistik
40
50
400–600
poäng
60
70
80
90 100
Procent
Över 600
poäng
127
Problemlösningsförmåga
8. Kunskapsmätningar
Problemlösningsförmåga
PISA Problemlösning 2003
Undersökningen av förmågan att lösa problem ingick för första gången i PISA 2003. Den avser att mäta elevernas förmåga att använda sina
samlade ämnesövergripande kunskaper för att lösa vardagsnära, samhälleliga, relevanta problem. I problemlösning fokuseras processen från
att identifiera och förstå ett problem till att skaffa sig information och
skapa strategier för att lösa dem samt att reflektera över och motivera
sin lösning. Eleverna ställs i problemlösning också inför olika typer av
situationer som bland annat kräver beslutsfattande, analyser och design av system eller felsökning. Genom problemlösning kan elevernas
färdigheter i att resonera och deras slutledningsförmåga undersökas.
Stora skillnader mellan länder
Skillnaderna mellan länder var stora när det gäller problemlösningsförmåga. I Korea (550 poäng), Finland (548) och
Japan (547) presterade eleverna klart bättre än elever i andra
länder. Eleverna i Sverige uppnådde i genomsnitt 509 poäng,
signifi kant över OECD-genomsnittet. I bland annat Norge
och USA presterade eleverna signifi kant under medelvärdet
i OECD.
Sverige – flickorna bäst på problemlösning
I Sverige och i de nordiska länderna Island och Norge presterade fl ickorna signifi kant bättre än pojkarna. I de länder där
fl ickorna presterade mycket bättre än pojkarna i läsförståelse,
som i Sverige, presterade de även bättre i problemlösning.
Tittar man på de högpresterande eleverna (nivå 3) låg de
svenska fl ickorna över OECD-genomsnittet medan de svenska
pojkarna låg under snittet.
Andel elever som presterar under nivå 1 respektive på nivå 3, fördelat efter kön. Procent
Under nivå 1
128
Nivå 3
Sverige, flickor
Sverige, pojkar
11
13
19
16
OECD, flickor
OECD, pojkar
16
18
18
19
SCB, Svensk utbildning i internationell statistik
Genomsnittspoäng samt andel elever på olika prestationsnivåer i problemlösningsförmåga per land
Urval av länder samt Norden och OECD-genomsnitt, PISA 2003
(Medelpoäng)
Nivå 0
Nivå 2
Nivå 1
Nivå 3
Turkiet (408)
Grekland (448)
Italien (469)
USA (477)
Spanien (482)
Norge (490)
Island (505)
Österrike (506)
Sverige (509)
Problemlösningsförmåga
8. Kunskapsmätningar
Tyskland (513)
Danmark (517)
Frankrike (519)
Nederl. (520)
Kanada (529)
Australien (530)
Japan (547)
Finland (548)
Sydkorea (550)
Norden (514)
OECD (500)
100 80 60
40
20
0
SCB, Svensk utbildning i internationell statistik
20
40
60
80 100
Procent
129
Skolklimat och tillhörighet
8. Kunskapsmätningar
130
Skolklimat och tillhörighet
Matema
Resultat från PISA 2003
Gott självförtroende och god motivation hos eleverna underlättar
lärandet i och utanför skolan. Om de också upplever ett positivt
klimat så stimulerar det både lärandet och känslan av tillhörighet
till skolan.
Av PISA–2003 framgår bland annat:
•
Elevernas intresse för matematik jämfört med läsning var
lågt. I Sverige var intresset för matematik större än i ett
genomsnittligt OECD-land.
•
Inte i något land uppgav fl ickor ett högre intresse än pojkar
för matematik.
•
I Sverige och Danmark var eleverna minst ängsliga för
matematik medan eleverna i de högpresterande länderna
(Japan och Korea) var mycket ängsliga.
•
Mellan 2000 och 2003 har andelen elever i Sverige som
stör på lektionerna ökat. Inom OECD har andelen störande
elever varit konstant mellan år 2000 och 2003.
•
Svenska elever kom oftare för sent till skolan än elever i
något av de 41 länder som ingår i PISA 2003. Mer än var
femte svensk elev kom för sent minst 3 gånger under en
tvåveckorsperiod. Motsvarande siffra för OECD-länderna i
genomsnitt är elva procent.
•
Åtta av tio elever ansåg att skolan var en plats där de kände
att de hörde hemma. Andelen gällde såväl för svenska
elever som för OECD-genomsnittet.
•
Känslan av tillhörighet skilde sig inte mellan flickor och
pojkar i de flesta länder. I Sverige däremot kände flickorna
en lägre tillhörighet än pojkarna.
SCB, Svensk utbildning i internationell statistik
8. Kunskapsmätningar
Engelska
Engelska
AE1 1996 och 2002
Åtta länder, däribland Sverige, genomförde 2002 en studie av elevers
kunskaper och uppfattningar om engelska i slutet av grundskolan. Studien är en upprepning av en studie som genomfördes 1996 i Frankrike,
Spanien och Sverige.
I studien 2002 deltog sju andra europeiska länder förutom Sverige:
Danmark, Finland, Frankrike, Nederländerna, Norge, Spanien och Tyskland.
1) Assessment of English.
Eleverna i Sverige och Norge bäst
Resultaten av studien kan delas in i tre nivåer. Norska och
svenska elever låg högst med i det närmaste identiska resultat.
Därefter kom eleverna i Danmark, Finland och Nederländerna
med inbördes relativt likartade resultat. De klart lägsta resultaten uppmättes för eleverna i Spanien och Frankrike.
Den stora skillnaden mellan södra och norra Europa förklaras till stor del av att ungdomar i Frankrike och Spanien i mindre utsträckning omges av engelska. Ungdomarna i norra Europa har i högre utsträckning kontakt med engelskan genom
musik, TV/video, datorer och biobesök.
Sett ur ett svenskt perspektiv fanns i våra nationella resultat stora skillnader på både individ- och skolnivå. Jämfört med
övriga länder var dock spridningen av resultaten klart mindre. Det framgick klart att de svenska ungdomarna var mycket duktiga i engelska. I synnerhet visade de svenska 15-åringarna ett mycket gott receptivt kunnande, vilket innebär att
de mycket bra förstod vad de hörde och läste. Detta stämmer
väl överens med de nationella proven för skolår 9. Något sämre resultat hade de svenska eleverna i språklig korrekthet och
skriftlig produktion.
Se
diagram på
nästa sida!
Svenska elever mycket positiva till engelska
I Sverige är utbildningen i engelska ganska traditionell, det vill
säga, lärarledd och läromedelscentrerad med mycket engagerade lärare. Lärarna i Sverige talar mer engelska på lektionerna än lärarna i övriga deltagande länder. Par- och grupparbete
används mer i Sverige än i övriga länder.
SCB, Svensk utbildning i internationell statistik
131
Engelska
8. Kunskapsmätningar
Det framgick också att de svenska ungdomarna var mycket
positiva till engelska som språk och som skolämne – mest positiva av alla ungdomar i de deltagande länderna. De svenska
eleverna ansåg att lärarna i engelska är mycket engagerade
och hjälpsamma. Lärarna kände sig också uppskattade av
eleverna. Mer än hälften av lärarna ansåg dock att läraryrket
är mycket litet eller inte alls uppskattat av samhället
Procentuella totalmedelvärden av språkfärdighetsområdena
hör- och läsförståelse, språklig korrekthet och skriftlig
produktion. AE 2002
Sverige
Norge
Finland
Nederl.
Danmark
Spanien
Frankrike
0
20
40
60
1) Tyskland deltog endast delvis i studien varför inga
totalmedelvärden kan beräknas.
132
80
100
Procent
SCB, Svensk utbildning i internationell statistik
Demokrati
CIVIC1 – ung i demokratin 1999–2000
IEA-studien med 28 deltagande länder undersökte, under 1999 och
2000, 14-åringars och gymnasieelevers kunskaper om demokratins
bärande ide och organisation. Undersökningens kunskapstest skilde
på faktakunskaper och tolkningsförmåga.
Demokrati
8. Kunskapsmätningar
1) Civic Education Study.
De svenska 14-åringarna ungefär som genomsnittet
Totalt sett hade de svenska 14-åringarna en kunskapsnivå i
nivå med genomsnittet. De presterade något under genomsnittet när det gällde faktafrågor om samhället och något över
när det gällde tolkningsfrågor.
Svenska 14-åringar, framförallt fl ickorna, hade en mer positiv inställning till invandring och invandrare jämfört med
genomsnittet. Detta gällde också för kvinnors politiska rättigheter.
Jämfört med flertalet andra länder upplevde 14-åringarna
i Sverige att klassrumsklimatet var öppnare och att lärarna i
högre utsträckning uppmuntrade till diskussioner.
Ungdomars (14–15 år) kunskaper i demokrati, CIVIC
1999/2000. Urval av länder
Ryssland
Kunskapsskala
Schweiz
Tolkningsskala
Danmark
Storbrit.
Tyskland
Sverige
Norge
Italien
USA
Finland
85
90
95
100
SCB, Svensk utbildning i internationell statistik
105
110
115 120
Medelpoäng
133
Demokrati
8. Kunskapsmätningar
134
De svenska gymnasieeleverna över genomsnittet
Totalt sett hade de svenska gymnasieeleverna en kunskapsnivå över genomsnittet i demokratifrågor. När det gällde
tolkningsfrågor var de svenska gymnasieeleverna bland
de bästa och när det gällde faktafrågor var resultatet något
över genomsnittet.
Liksom de svenska 14-åringarna hade de svenska gymnasieeleverna en mer positiv inställning till invandring/invandrare än genomsnittet. De svenska gymnasieeleverna,
framförallt de på studieförberedande program, upplevde
att klassrumsklimatet var öppnare än genomsnittet. Likartad syn på klassrumsklimatet fanns bland gymnasieelever i
Danmark och Schweiz.
SCB, Svensk utbildning i internationell statistik
8. Kunskapsmätningar
Sammanfattning av PISA 2000 och 2003
I OECD:s PISA-studier mäts 15-åringars förmågor inom fyra kunskapsområden: läsförståelse, matematik, naturvetenskap och problemlösning. Syftet är bland annat att undersöka i vilken grad respektive lands
utbildningssystem bidrar till att femtonåriga elever i den obligatoriska skolan är rustade att möta framtidens utmaningar. Hur de klarar att
analysera och hur de är förberedda på ett livslångt lärande.
PISA genomförs från och med år 2000 vart tredje år. Fler än en kvarts
miljon 15-åriga elever testades i 41 länder i PISA 2003, däribland samtliga OECD-länder. I PISA 2000 deltog 32 länder. Vid varje undersökningstillfälle är ett kunskapsområde i fokus, men alla kunskapsområden undersöks varje gång, vilket möjliggör jämförelser över tiden. I PISA
2000 var läsförståelse huvudområde, i PISA 2003 matematik och i PISA
2006 blir det naturvetenskap. Ett nytt område i 2003 års undersökning
var problemlösning.
Svenska elever bättre än OECD-genomsnittet
Svenska elever var signifi kant bättre än OECD-genomsnittet
inom samtliga kunskapsområden i PISA 2003. Några större
förändringar hade inte skett av de genomsnittliga resultaten
i matematik, läsförståelse eller naturvetenskap jämfört med
PISA 2000.
Fyra länder var bättre än Sverige i alla fyra kunskapsämnena – Finland, Sydkorea, Kanada och Australien. Ytterligare två
länder, Japan och Nya Zeeland, var signifi kant bättre än Sverige i matematik, naturvetenskap och problemlösning. En tredjedel av OECD-länderna, bland andra Norge, USA och Grekland var signifi kant sämre än Sverige i alla fyra ämnena.
Resultatet av PISA 2003 visade också att Sverige hade en
mindre andel svagpresterande elever i alla ämnen utom naturvetenskap, jämfört med OECD-genomsnittet. De svenska
fl ickorna presterade bättre än pojkarna i läsförståelse och problemlösning. Pojkarna presterade bättre i matematik än fl ickorna. I naturvetenskap fanns inga signifi kanta skillnader.
Elever med utländsk bakgrund födda i Sverige hade förbättrat sina resultat i matematik och läsförståelse. Eleverna med
utländsk bakgrund födda utomlands hade däremot försämrat
sina resultat.
En tredjedel av de svenska eleverna ansåg att det var oväsen och oordning på lektionerna samtidigt som Sverige var det
land som hade störst andel elever som kom för sent.
SCB, Svensk utbildning i internationell statistik
135
8. Kunskapsmätningar
Genomsnittspoäng för eleverna i ett urval av länderna för
respektive kunskapsområde i PISA 2000 och 2003
Läsförståelse
PISA
2000 2003
136
Matematik
PISA
2000 2003
Naturvetenskap PISA
2000 2003
Problemlösning
PISA 2003
Australien
Danmark
Finland
Frankrike
Island
528
492
546
505
507
525
492
543
496
492
533
514
536
517
514
524
514
544
511
515
528
481
538
500
496
525
475
548
511
495
530
517
548
519
505
Italien
Japan
Mexiko
Norge
Sverige
487
522
422
505
516
476
498
400
500
514
457
557
387
499
510
466
534
385
495
509
478
550
422
500
512
486
548
405
484
506
469
547
384
490
509
Sydkorea
Tyskland
USA
525
484
504
534
491
495
547
490
493
542
503
483
552
487
499
538
502
491
550
513
477
Norden
OECD-snitt
513
500
508
494
515
500
515
500
505
500
502
500
514
500
SCB, Svensk utbildning i internationell statistik
8. Kunskapsmätningar
Översikt av svenska elevers resultat i internationella studier i läsförståelse,
matematik och naturvetenskap 1964–2003
Mätning/år
Population
FIMS/1964
13-åringar
Avgångselever i gymn. skolan
FISS/1070/71
10-åringar
14-åringar
Avgångselever i gymn. skolan
IEA LF/1070
10-åringar
14-åringar
Avgångselever i gymn. skolan
SIMS/1980
13–14-åringar
Avgångselever i gymn.skolan
SISS/1983
10-åringar (år 4)
14-åringar (år 8)
Avgångselever från N /T linjer
IEA LF/1991
9-åringar
14-åringar
*****
*****
IALS /1994–98
16–65 år
*****
TIMSS/1995
13-åringar (år 7)
Avgångselever N/T linjer
Avgångselever övriga linjer
PISA/2000
15-åringar
Trend/2001
Årskurs 3
**
PIRLS/2001
Årskurs 4
Årskurs 3
*****
****
TIMSS/2003
Årskurs 8
PISA/2003
15-åringar
*****
****
***
**
*
Läsförståelse
Matematik
Naturvetenskap
*
***
*****
***
*****
*****
***
***
*
***
*****
*****
****
****
****
****
****
*****
***
*****
*****
****
****
****
****
****
****
Resultat bland de fem/20 procent bästa.
Resultat signifikant över genomsnittet.
Genomsnittligt resultat.
Resultat signifikant under genomsnittet.
Resultat bland de sämsta.
SCB, Svensk utbildning i internationell statistik
137
8. Kunskapsmätningar
Källor till kapitlet
OECD (2002), Education Policy Analysis
Skolverket (2003), PIRLS 2001. Barns läskompetens i Sverige och världen.
Skolverket (2001), PISA 2000. Svenska femtonåringars läsförmåga och kunnande
i matematik och naturvetenskap i ett internationellt perspektiv. SV-rapport 209
Skolverket (2003), Läsförståelse hos elever med utländsk bakgrund. SV-rapport 227
Skolverket (2004), TIMSS 2003. Svenska elevers kunskaper i matematik och
naturvetenskap i skolår 8 i ett nationellt och internationellt perspektiv. SV-rapport 255
Skolverket (2004), Engelska i åtta europeiska länder
Utbildningsdepartementet (2004), Utbildningen i Europa. Rapport 6
Skolverket (2001), Ung i demokratin, SV-rapport 210
Skolverket (2004), Internationella studier under 40 år
Skolverket (2004), PISA 2003. Svenska femtonåringars läsförmåga, kunnande i
matematik, naturvetenskap och problemlösningsförmåga i ett internationellt perspektiv.
SV-rapport 254
Skolverket (1996), TIMSS 1995. Svenska 13-åringars kunskaper i matematik och
naturvetenskap i ett internationellt perspektiv, SV rapport 114
Skolverket (1996), TIMSS 1995. Kunskaper i matematik och naturvetenskap hos
svenska elever i gymnasieskolans avgångsklasser, SV rapport 145
Svenska Kommunförbundet (2004), Aktuellt om skola och barnomsorg
Tabeller till kapitlet
Sid
Tabell 8.1
Tabell 8.2
Tabell 8.3
138
Genomsnittlig ålder samt medelpoäng i allmän-, informationsoch skönitterär läsning fördelat efter land (PIRLS 2001)
180
Genomsnittlig ålder samt medelpoäng i matematik och
naturvetenskap fördelat efter land (TIMSS 2003)
181
Genomsnittspoäng per land och kunskapsområde (PISA 2003)
182
SCB, Svensk utbildning i internationell statistik
Download
Random flashcards
Svenska

105 Cards Anton Piter

Create flashcards