Matematisk statistik AK för CD VT-04 Föreläsning 14: Stokastiska

EXEMPEL 4 AR(1)-process
Autoregressiv process AR(1)
8
Matematisk statistik AK för CD
VT-04
Föreläsning 14:
Stokastiska processer i diskret tid
Markovkedjor
11.1–11.4
6
4
2
0
−2
−4
−6
−8
−10
0
10
20
30
40
50
Tid
1
5
D
Föreläsning 14: Matstat AK för CD VT-04
Föreläsning 14: Matstat AK för CD VT-04
EXEMPEL 1 Slantsingling
Slantsingling
krona
MARKOVKEDJOR I DISKRET TID
En familj av diskreta stokastiska variabler indexerad av heltalen
X (k), k = 0, 1, 2, · · · , kallas en markovkedja om fördelningen för X (k + 1) givet
X (0), · · · , X (k) är samma som fördelningen för X (k + 1) givet X (k), dvs
P(X (k + 1) = xk+1 |X (0) = xo , · · · , X (k) = xk ) = P(X (k + 1) = xk+1 |X (k) = xk ).
Detta villkor brukar benämnas Markov-villkoret efter den ryske matematikern A.
Markov.
klave
0
10
20
30
40
50
Tid
6
2
D
Föreläsning 14: Matstat AK för CD VT-04
Föreläsning 14: Matstat AK för CD VT-04
EXEMPEL 2 Slumpvandring
Symmetrisk slumpvandring
4
2
TILLSTÅND
0
De värden som de stokastiska variablerna X (k), k = 0, 1, 2, · · · kallas tillstånd.
Vanligtvis betecknar man tillstånden E1 , E2 , · · · . Processerna i exempel 1,2 och 3
är Markovkedjor där tillstånden i exempel 1 är “krona” och “klave” i exempel 2
alla heltal Z och i exempel 3 är det heltalen 0–5. (Exempel 4 har alla reella tal som
sina tillstånd och är därför ingen Markovkedja, den uppfyller dock
Markov-villkoret fX (k)|X (k−1)=xk−1 ,··· ,X (0)=x0 (xk ) = fX (k)|X (k−1)=xk−1 (xk ), xk ∈ R.)
−2
−4
−6
−8
0
10
20
30
40
50
Tid
7
3
D
Föreläsning 14: Matstat AK för CD VT-04
Föreläsning 14: Matstat AK för CD VT-04
EXEMPEL 3 Maxprocess
Kumulativt max av oberoende Bin(5,1/2)−variabler
4
ÖVERGÅNGSSANNOLIKHETER
3.5
Sannolikheter av typen
3
pij (k) = P(X (k) = Ej |X (k − 1) = Ei )
2.5
kallas övergångssannolikheter, mer exakt sannolikheten för övergång från tillstånd
i vid tidpunkten k − 1 till tillstånd j vid tidpunkten k. Om
övergångssannolikheterna bara beror på tillstånden Ei och Ej och inte på
tidpunkten k kallas Markovkedjan tidshomogen.
2
1.5
1
I fortsättningen kommer vi att anta att våra Markovkedjor är tidshomogena och
skriver därför bara pij för övergångssannolikheten från tillstånd i till tillstånd j.
0.5
0
0
10
20
30
40
50
Tid
4
8
ÖVERGÅNGSMATRIS
Om Markovkedjan har ändligt många tillstånd kan vi samla alla
övergångssannolikheter i en matris P där element Pij = pij , dvs
övergångssannolikheten från tillstånd i till tillstånd j. Om vi har N olika tillstånd
blir P en N × N matris:


p
p12 · · · p1N

 11


 p21 p22 · · · p2N 


P= .
.
.

.
..
. . ..

 ..


pN 1
pN 2
···
TILLSTÅNDSGRAF EXEMPEL 1
0.5 0.5 0.5
Krona
pNN
Klave
0.5
Exempelvis beskriver elementen längs diagonalen sannolikheten att bli kvar i
samma tillstånd som tidigare.
Eftersom övergångmatrisen skall beskriva alla möjliga övergångar måste varje rad
summera till ett.
9
13
D
Föreläsning 14: Matstat AK för CD VT-04
Föreläsning 14: Matstat AK för CD VT-04
TILLSTÅNDSGRAF EXEMPEL 3
1/32
5/32
10/32
ÖVERGÅNGSMATRIS (EXEMPEL)
1/32
10/32
EXEMPEL 1: Kalla “krona” för E1 och “klave” för E2 . Vi får då
övergångsmatrisen


1/2 1/2

P=
1/2 1/2
5/32
1/32
6/32
16/32
26/32
31/32
1
0
1
2
3
4
5
5/32
10/32
10/32
10/32
5/32
5/32
1/32
1/32
1/32
14
10
D
Föreläsning 14: Matstat AK för CD VT-04
EXEMPEL 3: Låt Y ∈ Bin(5, 1/2) och låt tillstånden E1 till E6 representera talen 0 till 5.
Vi kan nu skriva övergångsmatrisen som


P(Y = 0) P(Y = 1) P(Y = 2) P(Y = 3) P(Y = 4) P(Y = 5)



0
P(Y ≤ 1) P(Y = 2) P(Y = 3) P(Y = 4) P(Y = 5) 





0
0
P(Y ≤ 2) P(Y = 3) P(Y = 4) P(Y = 5) 


P = 


0
0
0
P(Y ≤ 3) P(Y = 4) P(Y = 5) 





0
0
0
0
P(Y ≤ 4) P(Y = 5) 


0
0
0
0
0
P(Y ≤ 5)


1 5 10 10 5
1


 0 6 10 10 5
1 





1 
1  0 0 16 10 5

=


32  0 0 0
26 5
1 




 0 0 0
0
31 1 


0 0 0
0
0
32
Föreläsning 14: Matstat AK för CD VT-04
ÖVERGÅNGSSANNOLIKHETER AV HÖGRE ORDNING
p(r)
ij = P(Ei → Ej i r steg)
Vi har att
p(r)
ij
ges av element (i, j) i matrisen P r , dvs
n o
= P (r) = P r
p(r)
ij
i=1,··· ,N ,j=1,··· ,N
Allmänt gäller att
P (r+s) = P (r) P (s)
Detta samband kallas “Chapman-Kolmogorovs sats”.
15
11
D
Föreläsning 14: Matstat AK för CD VT-04
Föreläsning 14: Matstat AK för CD VT-04
TILLSTÅNDSGRAF
Ett praktiskt sätt att visualisera en Markov-kedja är att rita upp dess tillståndgraf.
0.6 0.1 0.2
0.7
E1
E3
ABSOLUTA SANNOLIKHETER
E2
p(n) = P(X (n) = E1 ), P(X (n) = E2 ), · · · , P(X (n) = EN )
Om vi utnyttjar “Chapman-Kolmogorovs sats” fås att
0.7
0.4
p(n) = p(0) P n , n ≥ 0,
0.3
Detta svarar mot en övergångsmatris enligt följande


0.6 0.4 0



P=
 0.1 0.2 0.7 
0.3 0
0.7
12
där
p(0) = P(X (0) = E1 ), P(X (0) = E2 ), · · · , P(X (0) = EN ) .
16