Umeå universitet
Institutionen för datavetenskap
2004-10-19
Artificiell intelligens ht04
Artificiell Intelligens Lab 2
Fördjupning i erfarenhets- och relevansbaserat
kunskapslärande
Peder Nordgren ens01pnn
Camilla Jakobsson dit02ajn
Handledare: Therese Edvall
Daniel Ölvebrink
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
Sammanfattning
I denna rapport fördjupar vi oss i ämnet knowledge in learning. Vi tar upp två olika metoder för lärande,
Explanation-Based Learning och Relevance-Based Learning. Dessa två metoder använder sig av tidigare
kunskap för att generalisera ett exempel, för att sedan kunna använda denna generalisering på kommande objekt.
De påskyndar och effektiviserar även lärandet, som leder till ökad prestanda. För att uppnå bästa resultat bör man
tänka på att göra noga avvägda generaliseringar.
2
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
Innehåll:
1. Introduktion ............................................................................................................................ 4
2. Syfte ....................................................................................................................................... 4
3. Metod ..................................................................................................................................... 4
4. Litteraturstudie ....................................................................................................................... 4
4.1 Explanation-Based Learning (EBL) ................................................................................. 4
4.1.1 Exempel på EBL ....................................................................................................... 4
4.1.2 Fördelar med EBL[4]: ............................................................................................... 5
4.2 Learning Using Relevant Information (RBL) .................................................................. 6
4.2.1 Generalisering ........................................................................................................... 6
4.2.2 Minsta konsistenta determination.............................................................................. 6
4.2.3 Hur hittar man minsta konsistenta determination? .................................................... 7
5. Diskussion och Slutsats .......................................................................................................... 8
6. Referenser............................................................................................................................... 9
3
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
1. Introduktion
För att kunna lära ett system att lära sig själv så krävs det att systemet har en plan för hur lärandet ska gå till.
I denna rapport har vi fördjupat oss i två typer av kunskapsbaserade lärande för system, det förklaringsbaserade
och det relevansbaserade. Dessa två använder sig av tidigare kunskap för snabbare inlärning. Vi kommer att gå
in djupare på hur detta går till.
2. Syfte
Syftet med rapporten är att med utgång från kapitel 19 i boken [1] fördjupa sig i ämnet Knowledge in learning.
Vi ska skaffa oss en djupare kunskap genom litteraturstudier. Sedan ska vi sammanställa denna information och
förmedla våra kunskap genom denna projektrapport. Projektrapporten är underlag för en muntlig presentation av
ämnet.
3. Metod
I våran projektrapport har vi utgått från kapitel 19.3 och 19.4 i boken [1]. Sedan har letat information genom att
använda oss av universitetsbibliotekets databaser, där vi hittade några få böcker. Vi har använt oss av Internet för
att försöka hitta för oss relevanta artiklar. Vi har även lånat böcker av Handledarna. De mesta materialet kommer
från böcker, då våra sökningar på Internet inte gav någonting av större värde. Även i böckerna var de svårt att
hitta relevant information, och den information vi hittade var ganska lika i de olika böckerna.
4. Litteraturstudie
4.1 Explanation-Based Learning (EBL)
EBL är en metod för att få fram generella regler från individuella observationer. Den nyttjar tidigare
domänkunskap för generaliseringen. EBL använder sig en tydligt representerad domänteori för att skapa en
beskrivning av träningsexempel, som ofta är ett bevis att exemplet stämmer överens med teorin. Genom att
generalisera från träningsexemplets beskrivning, istället för träningsexemplet själv så filtrerar den bort brus,
väljer ut relevanta sidor av kunskapen och organiserar träningsdata till en systematisk och sammanhängande
struktur.
EBL består av[4]:
1. En målidé: Beroende på den specifika applikationen, kan den målidé man vill uppnå vara en klassificering,
teorem-bevis, en plan för att nå ett mål, eller en heuristik för en problemlösare.
2. Ett träningsexempel: En instans av målidén.
3. En domänteori: En uppsättning regler och fakta som används för att förklara hur träningsexemplet är en
instans av målidén.
4. Operationskriterier: beskriver hur formen på idédefinitionerna ska se ut .
4.1.1 Exempel på EBL
Detta exempel är en egen tolkning av exempel i böckerna [3, 4]
1. Målide: En regel som kan avgöra om ett objekt är en kopp. Till exempel:
premiss(X) →kopp(X).
2. Träningsexempel: Består av tränings-instansen, alltså en instans av målidén,
kopp(objekt1)
samt en mängd med träningssatser från träningsexemplet, till exempel:
liten(objekt1)
del (objekt, handtag)
ägare(objekt, kalle)
del (objekt1, botten)
del (objekt1, skål)
4
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
pekar-upp(skål)
platt(botten)
konkav(skål)
färg(objekt1, vit)
gjord-av(objekt1, porslin)
3. En domänteori: Ett program som undersöker alla delar av träningsexemplet och avgör om det är en kopp. Till
exempel
lyftbar(X) ^ hållervätska(X) ^stabil(X) → kopp(X)
del(X,Y) ^ platt(Y) → stabil(X)
del(X,Z) ^ konkav(Z) ^ pekar-upp(Z) → håller-vätska(X)
lätt(X) ^ del(X, handtag) → lyftbar(X)
liten(X) → lätt(X)
gjord-av (X, fjädrar) → lätt(X)
4. Operationskriterier: visar hur beskrivningarna ska uttryckas. Till exempel:
gjord-av/2
färg/2
del/2
platt/1
liten/1
ägare/2
är-en/2
konkav/1
pekar-upp/1
Sedan man undersökt och gjort en förklaring varför objekt 1 är en instans av träningskonceptet, får man
nedanstående beskrivning som visar varför objekt 1 är en kopp. Alltså ett bevis att målidén följer från exemplet.
Förklaring=
[kopp(objekt1),
[[stabil(objekt1),
[del (objekt1,botten),
platt(botten)]]
[lyftbar(objekt1),
[[lätt(objekt1),
[liten(objekt1)]]
[del(X, handtag),
håller-vätska(objekt1),
[del(X,skål),
konkav(skål,
pekar-upp(skål)]]]]
Sedan generaliserar man denna förklaring så den gäller för objekt genom att byta ut variablerna mot mer
generella variabler, t.ex. X istället för objekt1.
Den nya regeln skapas ur de generaliserade trädet. Regelns slutsats är roten av trädet, alltså:
lyftbar(X) ^ hållervätska(X) ^stabil(X) → kopp(X)
och regelns premiss blir en samling av löven i det generaliserade trädet, alltså:
del(X, botten) ^ platt(botten) ^ liten(X) ^ del(X, handtag) ^ del(X,skål) ^ konkav(skål) ^
pekar-upp(skål)
4.1.2 Fördelar med EBL[4]:
1.
2.
3.
Träningsexempel innehåller ofta oviktig information. Domänteorin gör att man kan sortera bort oviktiga
saker ur träningsexemplet. Till exempel vem som äger koppen eller vilken färg den har, i exemplet ovan.
Ur exempel kan man få åtskilliga möjliga generaliseringar, men EBL skapar Generaliseringar som är viktiga
för de specifika målet och logiskt konsekventa med domänteorin.
Genom att använda domänkunskap så kan man med EBL lära sig från ett enskilt exempel.
5
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
4.2 Learning Using Relevant Information (RBL)
4.2.1 Generalisering
Man kan använda känd information om något för att ta reda på samma information om en likvärdig "sak" genom
generalisering. T.ex. om man vet att en person x har nationalitet n och en person y har samma nationalitet. Om vi
då vet att person x pratar språket l, och vi har generaliserat att alla personer med samma nationalitet pratar
samma språk, så vet vi också att person y också pratar språket l. (översättning från boken) [1]
Nationality(x,n) ^ Nationality(y,n) ^ Language(x,l) => Language(y,l)
Då är det inte svårt att se att följande slutsats kommer att dras om man vet:
Nationality(Fernando, Brazil) ^ Language(Fernando, Portuguese)
Nationality(x,Brazil) => Language(x,Portuguese)
Dessa meningar kallas "determinations". (Vi kommer att försvenska det engelska ordet genom hela rapporten för
att undvika felöversättning.)
En annan term som används är adopt som skrivs
(i brist på rätt symbol i Word)
Denna används i determinationer för att visa vilka attribut som krävs för att ta reda på nånting annat.
T.ex.
Material(x,m) ^ Temperature(x,t)
Material(x,m) ^ Temperature(x,t)
Conductanse(x,tecken för konduktans p)
Density(x,d)
Dessa två determinationer säger att för att ta reda på konduktansen eller densiteten för något krävs att vi vet
materialet och temperaturen för densamma. Utifrån dessa determinationer dras logiska generaliseringar.
Man bör dock tillägga att man inte utifrån dessa teorier skapa en generalisering som gäller ALLA brasilianare
eller för ALLA temperaturer och material. Däremot kan man utifrån detta utesluta all orelevant information som
finns t.ex. massan för ämnet, veckodag, vem som är statsminister osv.. Eller som de säger i boken [1]:
“Determinations specify a sufficient basis vocabulary from which to construct hypothesis concerning the target
predicate.” Man kan bevisa detta genom att ta reda på attributen på vänster sida i determinationen och få fram
det önskade predikatet på höger sida. Man kan bara få fram ett predikat som matchar eftersom man bara kan ha
en deklaration åt gången av predikatet.
I tidigare kapitel har man sagt att tidigare kunskap är användbar i lärandet, men tidigare kunskap har också lärts
in. För att kunna förklara "relevance-based learning" måste vi alltså komma fram med en algoritm som beskriver
lärandet för determinationerna.
Ex. En determination P
Q säger att om något gäller för P så måste det även gälla för Q eftersom Q ärver alla
egenskaper från P. Detta gäller för alla predikat så länge de är av samma klass.
4.2.2 Minsta konsistenta determination
Egen tolkning av bokens exempel [1]
Vi har en tabell som ser ut såhär:
Sample
S1
S1
S2
S3
S3
S4
Mass
12
12
24
12
12
24
Temperature
26
100
26
26
100
26
Material
Copper
Copper
Copper
Lead
Lead
Lead
Size
3
3
6
2
2
4
Conductance
0.59
0.57
0.59
0.05
0.04
0.05
Utifrån denna kan vi se att man utifrån olika fakta kan få fram konduktansen för vissa ämnen om vi väljer rätt
attribut. För att vi med minsta möjliga ansträngning ska kunna hitta konduktansen som vill vi veta den minsta
konsistenta determinationen.
6
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
Nu vet vi att den i det här fallet är: Material ^ Temperatur
Konduktans
Det finns fler determinations som passar in t.ex. Massa ^ Storlek ^ Temperatur
Konduktans.
Denna är också konsistent eftersom man Massa och Storlek kan ta reda på densiteten för materialet, som är olika
för alla material, och utifrån det ta reda på vilket material det är.
4.2.3 Hur hittar man minsta konsistenta determination?
Det finns många algoritmer för att hitta just det. Den mest uppenbara vägen är att kolla igenom listan med alla
determinationer, först de med ett predikat, sen två, osv. tills man hittar en konsistent determination (Översättning
från boken s. 696) [1]
Kod för en sådan algoritm kan se ut såhär[1]:
function MINIMAL-CONSISTENT-DET(E,A) returns a set of attributes
inputs: E, a set of examples
A, a set of attributes, of size n
for i 0, …, n do
for each subset Ai of A of size i do
if CONSISTENT-DET?(Ai,E) then return Ai
function CONSISTENT-DET?(A, E) returns a truth-value
inputs; A, set of attributes
E, a set of examples
local variables: H, a hash table
for each example e in E do
if some examples in H has the same values as e for the attributes A
but a different classification then return false
store the class of e in H, indexed by the values for attributes A of example e
return true
Vilken tidskomplexitet som blir beror på antalet attribut i den minsta konsistenta
determinationen.
Om man sätter kombinerar MINIMAL-CONSISTENT-DET med DECITIONTREE-LEARNING-algoritmen så får man en ”Relevance-Based Decition-Tree
Learning” algoritm RBDTL. Den identifierar först det minimala antalet relevanta
attribut som kan finnas för determinationen och skickar det till ”Decision Tree
algoritm” för vidare lärande[1]. På så sätt minimerar man den orelevanta
informationen och systemet lär sig snabbare än Decition-Tree Learning
algoritmen DTL. Se jämförelse till höger.
7
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
5. Diskussion och Slutsats
Det EBL och RBL gör är att de använder sig av tidigare kunskap för att påskynda/effektivisera lärandet. För att
kunna ta vara på och uppdatera den befintliga kunskapen används en träningsinstans, vars huvuduppgift är att få
agenten att fokusera på relevanta delar av problemet och strukturera de väl i kunskapsbasen. EBL och RBL
påskyndar lärandet, genom att den inte behöver konstruera om bevisträdet för den nya regeln, vilket ökar
prestandan för systemet. RBL har metoder för att ta reda på den relevanta informationen, vilket gör att det går
snabbare att hitta den sökta informationen. En enklare typ av lärande DTL måste däremot hitta rätt väg i
beslutsträdet för att kunna hitta samma information. Men om man sätter ihop DTL och RBL så får man en
RBDTL, där man har effektiviserat sökandet rejält, vilket bevisas i figuren på föregående sida. Vad man kan
säga om generaliseringar är att det är bra för att då kan man utvidga kunskapsområdet mycket snabbare ex. Om
man har i definitionen att en boll är rund och fylld med luft så kan man säga att en fotboll, som är rund och fylld
med luft alltså en typ av boll. Om man sen får in en tennisboll, så är den också rund och fylld med luft, alltså en
typ av boll. Detta är ju en bra tillämpning av teorin! Men man får tänka på att ALLT som är runt och fyllt med
luft inte är en boll. Då får man anpassa systemet att göra egna värderingar och kanske uppdatera attributen för
BOLL. Ett till exempel på när generaliseringar inte är helt pålitliga är brasilien-exemplet, där man har
generaliserat att ALLA som har samma nationalitet också pratar samma språk. Detta är inte alltid sant! Här
måste systemet lära sig att det finns undantag för reglerna för att det ska kunna appliceras i verkliga livet. För att
ett system ska fungera så bra som möjligt, får man tänka på att när man sätter upp reglerna för generaliseringarna
så får man se till att inte specificera upp för mycket. Man kan heller inte ha för generella regler. Det bästa, men
långt ifrån det enklaste, är att kunna lära systemet att själv göra en sund bedömning.
8
Camilla Jakobsson och Peder Nordgren
Artificiell intelligens
2004-10-19
Fördjupning i erfarenhets- och relevansbaserat kunskapslärande
6. Referenser
1. Russell, Stuart J. och Norvig, Peter, Artificiell Intelligence – A modern approach, 2nd edition (Prentice
Hall, 2003)
2. Morik, Katharina, Knowledge Representation and organisation in Machine learning (Springer-Verlag, 1989)
3. Asker, Lars Partial Explanations as a basis for learning (Department of Computer and Systems Sciences
Stockholm University and The Royal Institute of Technology 1994)
4. Luger, George F, Artificial Intelligence- Structures and strategies for complex problem solving (Addison
Wesley, 2002)
9
