729G09 Språkvetenskaplig databehandling (2016)
Lingvistiska grundbegrepp
Marco Kuhlmann
Institutionen för datavetenskap
Vad är korpuslingvistik?
• Korpuslingvistik handlar om att undersöka språkvetenskapliga
frågor utifrån korpusdata.
• Utgångspunkt: Språkvetenskapliga undersökningar bör baseras på
texter från fältet, i deras naturliga kontexter.
Vad är språkteknologi?
• Språkteknologi är all teknologi som skapas för att förstå eller
generera naturligt språk.
• Språkteknologi är ett tvärvetenskapligt forskningsområde med
inslag av datalogi, lingvistik och kognitionsvetenskap.
annat namn: datorlingvistik; engelska: natural language processing
Tokenisering
Rå text
Tokeniserad text
Den liknar andra arter inom
familjen med böjd näbb,
mönstrad brun ovansida,
vitaktig undersida och långa
styva stjärtpennor som den
använder för att kunna
balansera upprätt på
trädstammar och grenar.
Den liknar andra arter inom
familjen med böjd näbb ,
mönstrad brun ovansida ,
vitaktig undersida och långa
styva stjärtpennor som den
använder för att kunna
balansera upprätt på
trädstammar och grenar .
Denna föreläsning
Lingvistiska grundbegrepp
Presentation av UPG2
Lingvistiska grundbegrepp
Från form till betydelse
pragmatik
semantik
generering
analys
syntax
morfologi
Morfologi
pragmatik
semantik
generering
analys
syntax
morfologi
‘Rose is a rose is a rose is a rose.’
Gertrude Stein (1913)
Många olika typer av ord
• Begreppet ord kan syfta på en ordförekomst eller en ordtyp.
Rose is a rose is a rose is a rose.
• Två ord kan ha samma form, men vara olika lexem.
Jag föredrar slips framför fluga. Det satt en fluga på väggen.
• Två ord kan ha olika former, men ha samma lemma.
tanke, tanken, tankar
Skolans nio ordklasser
tagg
kategori
exempel
VB
verb
kasta
NN
substantiv
pudding
PN
pronomen
hon
JJ
adjektiv
glad
AB
adverb
inte
KN
konjunktion
och
PP
preposition
över
RG
räkneord
tre
IN
interjektion
aj
Morfem
• Morfem är de minsta betydelsebärande enheterna i ett språk.
de minst+a betyd+else+bär+a+nde enhet+er+na
• Ett ord består av ett rotmorfem och noll eller flera affix.
rit+a, rit+ar, rit+ning, rit+bart, o+rit+bart
• Morfem är inte alltid sammanhängande.
Hebreiska k-t-b ”skriva”: ( כתבkatav) ”skrev”, ( מכתבmixtav) ”ett brev”
• Morfem består inte alltid av ljud.
ett hus vs. flera hus+∅
Varför behöver vi morfologi?
• I svenskan böjs de flesta adjektiv efter substantivet.
en lång arm – ett lång+t ben, lång+a arm+ar, den lång+a arm+en
• I andra språk böjs även andra typer av ord.
Tyska: Ich gehe in das Haus. Wir gehen in die Häuser.
• Genom att detektera böjningar kan vi se vilka ord som hör ihop.
Tre problem med morfologisk analys
• Regularitet
Hur kan vi representera regularitet i morfologisk variation?
• Flertydighet
Time flies like an arrow; fruit flies like a banana.
• Dynamik
manspreading, weak sauce, cupcakery
Finita automater som morfologiska lexikon
a
𝑞0
a
𝑞1
a-övergång
p
𝑞2
n
𝑞3
s
𝑞5
s
𝑞4
o
𝑞6
a
s
r
n
𝑞7
𝑞8
sluttillstånd
Syntax
pragmatik
semantik
generering
analys
syntax
morfologi
Fraser
Ord i meningar bildar fraser.
• nominalfraser (NP)
hon. Fredrik Reinfeldt och de nya Moderaterna. ett sådant klassiskt ställe som Operakällaren.
• verbfraser (VP)
rodnade. bad henne att öppna fönstret. levde lyckliga i alla sina dagar.
Satser
Fraser bildar satser.
• deklarativa satser
De köpte en hund. Igår köpte de en hund.
• interrogativa satser
Köpte de en hund? När köpte de en hund?
• imperativa satser
Köp en hund!
Frasstrukturträd
S
NP
VP
Pro
Verb
I
prefer
NP
Det
a
Nom
Nom
Noun
Noun
flight
morning
Syntaktiska dependensträd
nsubj
cpd
xcomp
aux
nmod
case
mark
1
2
3
4
5
6
7
8
Cray
Computer
has
applied
to
trade
on
Nasdaq
PTB section 00, document 18, item 026; Stanford dependencies (basic)
Semantik
pragmatik
semantik
generering
analys
syntax
morfologi
Syntax och semantik
• Kompositionalitetsprincipen
Betydelsen hos ett komplext uttryck avgörs av betydelserna hos
dess deluttryck och hur dessa deluttryck har kombinerats.
utmaningar: idiomatiska uttryck, kontextualitet
• Syntax har en avgörande roll för en menings betydelse.
The brown dog on the mat saw the striped cat through the window.
The brown cat saw the striped dog through the window on the mat.
WordNet
standard, criterion,
measure, touchstone
medium of exchange,
monetary system
currency
money
coinage, mintage,
specie, metal money
fund,
monetary fund
coin
budget
nickel
dime
scale, graduated
table, ordered series
Richter scale
‘You shall know a word by the company it keeps.’
John Rupert Firth (1890–1960)
Matris med samförekomster
m
ko
n
ålo
te
xt
kung
tron
regerar
Sverige
match
mål
spelar
drottning
4
1
1
2
0
0
0
kung
3
2
1
3
1
0
0
fotboll
1
0
0
4
3
4
2
hockey
0
1
0
1
2
1
1
rd
Ordvektorer
m
ko
n
ålo
te
xt
kung
tron
regerar
Sverige
match
mål
spelar
drottning
4
1
1
2
0
0
0
kung
3
2
1
3
1
0
0
fotboll
1
0
0
4
3
4
2
hockey
0
1
0
1
2
1
1
rd
Ord som vektorer
krona
drottning
kung
fotboll
Sverige
Att räkna med ordvektorer
kvinna
drottning
man
kung
Semantiska dependensgrafer
ARG1
cpd
ARG2
ARG1
ARG2
ARG1
1
2
3
4
5
6
7
8
Cray
Computer
has
applied
to
trade
on
Nasdaq
PTB section 00, document 18, item 026; SDP/DM
Denna föreläsning
Lingvistiska grundbegrepp
Presentation av UPG2
