LeActiveMath – En intelligent lärare Hjalmar Eriksson [email protected] HT2011, 729G11 Hjalmar Eriksson [email protected] HT2011, 729G11 Sammanfattning Den här rapporten går först igenom och förklarar en generell modell av ett intelligent pedagogiskt system, dess beståndsdelar och funktion. Efter det fördjupas arbetet i en modul i ett specifikt system, läromodulen i det pedagogiska matteprogrammet LeActiveMath, försöker förklara hur komponenterna fungerar och beror av varandra. Exempelvis används en generalisering av bayesiansk teori kallad Dempster-Shafer teori vilken gås igenom. Poängen är att visa hur metoder inom AI kan användas för att skapa en modell av en elev i syfte att skapa en artificiell pedagog som i sin tur kan använda denna kunskap för att förbättra en elevs kunskaper. Hjalmar Eriksson [email protected] HT2011, 729G11 Innehållsförteckning Inledning..................................................................................................................................... 1 Syfte ........................................................................................................................................... 1 Källor .......................................................................................................................................... 1 Avgränsning ............................................................................................................................... 1 Bakgrund .................................................................................................................................... 1 Generell modell av en intelligent läroagent ............................................................................... 2 Kunskapsrepresentation ............................................................................................................. 3 Pedagogisk metadata .................................................................................................................. 3 Elevmodul .................................................................................................................................. 3 Learner history ........................................................................................................................... 7 Situationsmodul .......................................................................................................................... 8 Open learner model .................................................................................................................... 8 Diskussion ................................................................................................................................ 10 Referenser................................................................................................................................. 11 Hjalmar Eriksson [email protected] HT2011, 729G11 Inledning Hur vi lär oss på bäst sätt är ett ämne som stötts och blötts genom tiderna. En trend inom svensk utbildning är hur fokus har skiftat från att individen ska anpassa sig till skolan till det omvända. Utbildning efter den enskildes förutsättningar är vad dagens skola har att leva upp till. En vanlig högstadieklass går det ungefär 30 elever på en lärare och det är inte alltid självklart att varje elev får den uppmärksamhet, hjälp och anpassning den behöver. Kanske finns lösningen att få från datorbaserad undervisning, inte för att konkurrera eller ersätta lärarrollen utan för att ge avlastning och komplettering. Ett system som anpassar innehåll och svårighetsgrad efter användaren är högst verkligt och forskning på området pågår på flera institutioner i världen. Syfte Syftet med denna rapport är att redogöra för hur elevmodulen och dess komponenter i mjukvarusystemet LeActiveMath fungerar och interagerar för att skapa en del av en artificiellt intelligent pedagog. Källor Min huvudsakliga källa till information har varit projekthemsidan för LeActiveMath. Rapporterna om mjukvarans olika områden har varit generösa och välstrukturerade. Problemet var när de i vissa fall beskrev att de använde en lösningsmetod men inte förklarade hur den fungerade i grunden. Det ledde till ett behov av externa källor för djupare förståelse. Avgränsning Då källmaterialet var generöst med mångsidiga rapporter om mindre delar av programmet så behövdes en avgränsning göras. Valet föll på fördjupning inom elevmodulen på grund av dess betydelse för resten av systemet i form utav modellering av eleven. Bakgrund (http://www.leactivemath.org/overview.html för resten av stycket) LeActiveMath är ett pedagogiskt mjukvaruprogram med uppgift att lära ut matematik och riktar sig främst till 1 Hjalmar Eriksson [email protected] HT2011, 729G11 elever på gymnasiet och till de som läser tidig universitetsmatematik. Programmet kan även med fördel också användas av fristående personer med intresse att fördjupa sina kunskaper. Forskningsprojektet som gav upphov till LeActiveMath var ett samarbete mellan flera EUländer och finansierades till stor del av EU. Generellt så var målet att skapa ett högteknologiskt läromedel som anpassar sig till eleven. Exempel på hur detta skulle uppnås var dels genom att programmet förde en dialog med användaren där kunde ge ledtrådar, dels genom att vilka uppgifter som presenteras beroende av den modell av användaren som skapats av mjukvaran. Generell modell av en intelligent läroagent För att förstå hur LeActiveMath i stora drag handlar om väljer jag att kort redogöra för hur en enkel intelligent läroagent kan vara konstruerad. (Padayachee, 2002) (Hyacinth, 1990) Även fast arkitekturen kan variera så har generellt sett läroagenter fyra komponenter: expertmodul, elevmodul, pedagogisk modul och gränssnittsmodul. Expertmodulen innehåller den kunskap som ska förmedlas. Det finns flera varianter på hur kunskapen kan vara representerad i modulen. Exempelvis är semantiska nätverk och framesystem alternativ som ger koncept kategorisk tillhörighet och relation till andra koncept. En annan intelligent metod att använda sig av är ett produktionssystem. Kortfattat använder sig ett sådant system av if-then-villkorsregler för att avgöra vad som behöver göras i olika situationer. (Anderson, 2004 ). Praktiskt bör expertmodulen klara av att lösa och ge alternativa lösningar till problem. Det är här systemets ämneskunskap finns. I elevmodulen samlas information om eleven. Modulen försöker förstå hur eleven tänker och löser problem. Den gör det genom att bland annat se vilka fel som uppstår och vilken typ av fel det är i syfte att kunna styra systemet till effektivare lärostrategier. Det är denna modul jag har valt att fördjupa mig i. Den pedagogiska modulen har till uppgift att vägleda eleven bland annat genom att förklara problem, ge ledtrådar och lämpliga övningsuppgifter. Med goda strategier för hur kunskap ska förmedlas så ökar förutsättningarna för inlärning. Modulen tar inte helt förvånande hjälp av elevmodulen för att avgöra vilket nästa steg i undervisningen blir. 2 Hjalmar Eriksson [email protected] HT2011, 729G11 Gränssnittsmodulen är programmets ansikte utåt. Det är här systemet interagerar med eleven. En välgjord design är viktigt för att uppgifter och hjälp presenteras på ett bra sätt. Med denna korta genomgång går jag vidare till att förklara hur elevmodulen i LeActiveMathsystemet är uppbyggt. Kunskapsrepresentation (Goguadze, 2004) Om programmet ska kunna anpassa undervisningen till eleven behövs inte bara data i form av matematisk kunskap utan även metadata, de matematiska och pedagogiska egenskaper som kunskapselementen har. Programmet tar hjälp av OMDoc som är ett representationsformat för matematik. (Kohlhase, 2009) Två typer av objekt i OMDoc som används i LeActiveMath är koncept och satelliter som kan vara sammankopplade med olika förhållanden som ”A är en B” eller ”A bygger på B”. Koncept handlar om matematiska samband, symbolers innebörd, teorier och bevis för teorierna. Satelliter är exempel och övningar relaterade till olika matematiska koncept. Objekten och dess förhållanden skapar en matematisk karta över hur begrepp hänger ihop. Pedagogisk metadata Det finns olika typer av metadata som kopplas till de matematiska representationerna skapade med OMDoc. Poängen är att underlätta hur kunskapsobjekten ska användas. Intressant här är den pedagogiska metadatan. Den kan bland annat beskriva kontext för programmets målgrupp i form utav utbildningstyp, exempelvis med värdena yrkesutbildning eller gymnasienivå. Metadata för svårighetsgrad baserat på kontext d.v.s. efter vem som använder programmet och typ av uppgift (flerval, fyll i luckor etc.) kan också beskrivas. Vid hämtning av data tar andra moduler hjälp av metadata. Elevmodul (Andrès, Brna m.fl, 2005) Så här långt har vi ämneskunskapen representerad. För att vi ska kunna undervisa effektivt behöver vi veta mer om vem vi riktar oss till. Elevmodulen i LEActiveMath kallas ”extended learner model”, xLM. Detta för att modulen är uttökad är utökad med tre komponenter, situation model (SM), open learner model (OLM) och learner 3 Hjalmar Eriksson [email protected] HT2011, 729G11 history (LH), vars uppbyggnad, funktion och koppling till andra programkomponenter jag ska försöka förklara. Figur 1: Flödesschema för den utökade läromodulen Elevmodulen samlar information relevant för att skapa en representation av eleven. Informationen sträcker sig över ett flertal områden. Den kan handla om vilken matematisk kompetens som finns hos eleven d.v.s. förmåga att tänka, resonera och förklara matematiska problem. Programmet grundar sina antaganden dels 4 Hjalmar Eriksson [email protected] HT2011, 729G11 i metadatan som är kopplad till specifika uppgifter. Metadata kan beskriva svårigheten på uppgiften och förväntad kompetensnivå hos eleven vilket kan användas för att vikta den egentliga kompetensnivån. Motivation och känsloläge registreras med hjälp av situationsmodulen (se nedan) och ett självrapporteringsverktyg där eleven själv anger sitt känsloläge, samt att eleven genom OLM kan gå in och ändra känsloläget som programmet uppfattat som då i sin tur lär sig mer. Det är dock viktigt att påpeka att dessa antaganden inte är bevis för exempelvis en kompetensnivå. För att avgöra vilken ”gissning” LM ska göra tar den hjälp av en generalisering av bayesiansk teori kallad Dempster-Shafer teori. Ett försök att förklara hur teorin fungerar i läromodulens kontext. (Zadeh, 1986): För att göra uträkningen behövs först en uppskattning av vilken nivå eleven ligger på. Detta är data som samlas in när eleven använder programmet. Sedan görs test av hur säkert det är att det uppskattade intervallet ligger delvis, helt eller inte alls inom olika testintervall. Kunskapsaspekt Uppskattat nivåintervall Testintervall A [1-4] Testintervall B [5-7] (7max) Tänka matematiskt [2-3] Säker Omöjlig Problemlösning [3-6] Möjlig Möjlig Känna igen symboler [3-5] Möjlig Omöjlig Representera i olika [4-7] Möjlig Möjlig [6-7] Omöjlig Säker former Använda matematiskt språk Figur 2: Tabell över säkerhet/möjlighet i olika kunskapsaspekter Testintervall A skulle ha en säkerhet på 1/5 och en möjlighet på 4/5. Intervall B får en säkerhet på 1/5 och en möjlighet på 3/5 (De säkra värdena räknas också som möjliga). 5 Hjalmar Eriksson [email protected] HT2011, 729G11 Mer om dempster-­‐schafer Eftersom ”beliefs” är en så pass central del inom elevmodulen väljer jag att redogöra mer ingående för hur de räknas fram och används i LeActiveMath. Det hela börjar med att elevens prestation på något matematiskt område skickas som bevis (input) till elevmodulen. Den innehåller exempelvis data om vilket område uppgifter tränar och hur väl eleven presterade på den. Denna nya information integreras gammal kunskap om kompetens vilket leder till en precisare uppfattning av nivå. Ett ”belief” är en tolkning av input, vad elevmodulen tror om en viss kunskapsnivå inom ett område. Dessa ”beliefs” räknas ut med hjälp utav en generalisering av bayesiansk teori kallad Dempster-Schaferteori. Denna går ut på att varje ”belief”, det vill uppfattning om kunskapsnivå inom ett kunskapsområde, får ett konfidensintervall, [Cr(S), Pl(S)]. Cr(S), ”certanity”, är ett mått på hur säker elevmodulen är på att påståendet S är sant medan Pl(S) mäter hur pass S inte motsäger beviset, även kallat ”plausibility” eller rimlighet. Vi har nu mått för säkerhet och rimlighet i ett antagande. Ett lågt värde på säkerheten och ett högt på rimligheten för ett ”belief” att eleven ligger på nivå 2 i algebra skulle innebära att programmet är väldigt osäkert på om huruvida det är korrekt, men att det är fullt möjligt eftersom det inte finns mycket bevis som talar mot det. Man kan räkna ut rimligheten för ett påstående används formeln Pl(S)= 1- Cr(¬S) där Cr(¬S) utläses som uppfattningen att eleven inte ligger på en viss nivå. Siffran som blir kvar, rimligheten, är alltså det som inte talar emot påståendet. Dempster-Schaferteori använder sig också av begreppet ignorans som räknas ut genom formeln Ig(S) = Pl(S) – Cr(S) och är ett mått på hur pålitligt ett visst påstående är. Ett högt värde på ignorans betyder att ett visst påstående inte är särskilt tillförlitligt. Ett lågt värde betyder i sin tur att påståendet går att lita på. Fördelen med att använda sig utav ignorans är att den ger ett djup när det gäller beslutsfattning. Exempelvis så kan två olika kunskapsnivåer ha liknande värden för säkerhet och rimlighet men ignoransen kan variera. Elevmodulen sällar sig då till det säkraste påståendet. 6 Hjalmar Eriksson [email protected] HT2011, 729G11 Figur 3: Distrubition av beliefs Vad vi nu har är en mängd beliefs om elevens kunskapsnivå på olika områden. Dessa har olika grader av säkerhet, rimlighet och ignorans. Andra komponenter kan nu ställa frågor till läromodulen på olika detaljnivåer. Det går exempelvis att få ut information som en distribution över nivåerna (se bild) där komponenten kan välja att gå efter ignoransnivå eller rimlighetsnivå. Säkerheten vägs mot möjligheten för att avgöra vilken nivå eleven borde ligga på. När en ny handling genomförts av eleven omvandlas den till sannolikheter för olika nivåer som sedan lagras i ”Learner History” (LH). LM tar de nya uppfattningarna och uppdaterar de gamla som är relaterade till dem. (Andrès, eric, Brna, Paul, m.fl, 2005) Learner history Denna komponent lagrar händelser där eleven gjort något exempelvis löst en uppgift eller kommunicerat med programmet, information som kan vara med och påverka resten av komponenterna i läromodulen. LH tar elevens handlingar som input och skickar den vidare till LM, SM och OLM. 7 Hjalmar Eriksson [email protected] HT2011, 729G11 Situationsmodul (Andrès, Brna m.fl, 2005) Denna modul har i uppgift att läsa av och sammanställa den nuvarande lärosituationen. Den gör med hjälp utav input från interaktionen med eleven och från metadata av uppgiften som håller på att lösas. Exempel på variabler som mäts är hur korrekt en elev har svarat på en fråga, svårighetsgrad på uppgiften och hur mycket tid som lagts ner på uppgiften. Utifrån sådana variabler, som får olika tyngd, kan komponenten dra slutsatser och rapportera om exempelvis intresse eller självförtroende hos eleven. Tack vare att programmet kan föra en dialog med eleven så får den även information härifrån. Exempel på detta kan vara användandet av många frågetecken och ord som ”kanske”. En bedömning på osäkerhet kan därför göras. Med hjälp av tyngderna diagnosticerar modulen situationen med hjälp utav bayesianska nätverk. Detta för att kunna dra slutsatser om samband från en mängd olika variabler. Open learner model (Brna, Labeke, Morales, Gibson, 2005) LeActiveMath använder sig utav medoden att låta eleven själv vara med att påverka programmets uppfattning av en. Detta är användbart dels för att det uppmuntrar till självreflektion, dels för att det är en källa till kunskap för systemet som den kan förhålla sig till. Programmet för en dialog med eleven där denne kan fråga exempelvis vilken nivå den ligger på för ett specifikt moment. Den får svar baserat på vad elevmodulen samt learner history anser om läget. 8 Hjalmar Eriksson [email protected] HT2011, 729G11 Eleven kan här välja att ifrågasätta OLM. Vad som händer då är att OLM lägger fram argument baserat på datan som ligger bakom uppfattningen. Om eleven fortfarande ifrågasätter programmets uppfattning så lägger det fram datan som lett fram till beviset. Poängen är att eleven får en rimlig förklaring till varför den ligger på nivån samtidigt som den kan ifrågasätta systemet och ge den en annan syn på modellen av eleven. Figur 4: Argumentation mellan program och användare om kunskapsnivå 9 Hjalmar Eriksson [email protected] HT2011, 729G11 Diskussion Min avgränsning till elevmodulen har handlat om LeActiveMathprojektets sätt att skapa en modell av från hur en elev ligger på en viss kunskapsnivå och har ett visst matematiskt språk till hur denne känner sig i form utav motivation och självförtroende. Då det inte är lätt för en traditionell lärare att göra den här typen av bedömningar. Hur ska då en maskin klara av att göra samma sak? Jag tror på den här typen av undervisningsform eftersom den lägger fokus på individen som det i vanliga fall inte finns resurser till. Individanpassad undervisning är något som kan uppnå antingen med hjälp av kraftigt ökad lärartäthet eller genom datorstödd undervisning. Jag anser och inser att det är svårt att bedöma ett helt systems lämplighet bara utifrån en enskild modul och att en bredare fördjupning skulle behövas. Min uppfattning är dock att LeActiveMath är ett stort steg på vägen för att skapa ett elevanpassat läromedel på grund av dess förmåga att omvandla en komplex mängd variabler till enklare antaganden om situationen för eleven. 10 Hjalmar Eriksson [email protected] HT2011, 729G11 Referenser http://www.leactivemath.org/overview.html, LeActiveMath, hämtad 18 september, uppdaterad den 24 augusti 2011 Padayachee, Indira, 2002, ”Intelligent Tutoring Systems: Architecture and characteristics”, University of Natal, Durban, Information Systems & Technology, School of Accounting & Finance. Nwana, Hyacinth, 1990, “Intelligent Tutoring systems: an overview”, department of computer science, university of Liverpool Anderson, John, 2004, “Production Systems, Learning, and Tutoring”, Department of Psycology, Carnegie-Mellon University, Pittsburgh Goguadze, George, 2004 “LeActiveMath Structure and Metadata model”, university of Saarland Kohlhase Michael, 2009 “An open Markup Format for Mathematical Documents”, Computer science, International University Bremen Andrès, eric, Brna, Paul, m.fl, 2005, “Student Model Specification”, Le Active Math consortium Zadeh, Lofti, 1986, “A simple view of the Dempster-Shafer theory of evidence and it’s implication for the rule of combination”, computer science division, university of California Andrès, eric, Brna, Paul, m.fl, 2005, “Student Model Specification”, s 60-66, Le Active Math consortium Brna, paul, Nicolas Van Labeke, Morales, Rafael, Gibson, Iain, 2005, “Open Student Model”, The LeActiveMath consortium Bilder Figur 1: Andrès, eric, Brna, Paul, m.fl, “Student Model Specification”, s 34, Le Active Math consortium Figur 2: Egenritad 11 Hjalmar Eriksson [email protected] HT2011, 729G11 Figur 3: E. Andres, P. Brna, N. Van Labeke, M. Mavrikis, R. Morales, H. Pain, K. PorayskaPomsta (2005), ”Student model specification”, s 63, Le Active Math consortium Figur 4: Brna, paul, Nicolas Van Labeke, Morales, Rafael, Gibson, Iain, 2005, “Open Student Model”, s18, The LeActiveMath consortium 12