EXEMPEL 4 AR(1)-process Autoregressiv process AR(1) 8 Matematisk statistik AK för CD VT-04 Föreläsning 14: Stokastiska processer i diskret tid Markovkedjor 11.1–11.4 6 4 2 0 −2 −4 −6 −8 −10 0 10 20 30 40 50 Tid 1 5 D Föreläsning 14: Matstat AK för CD VT-04 Föreläsning 14: Matstat AK för CD VT-04 EXEMPEL 1 Slantsingling Slantsingling krona MARKOVKEDJOR I DISKRET TID En familj av diskreta stokastiska variabler indexerad av heltalen X (k), k = 0, 1, 2, · · · , kallas en markovkedja om fördelningen för X (k + 1) givet X (0), · · · , X (k) är samma som fördelningen för X (k + 1) givet X (k), dvs P(X (k + 1) = xk+1 |X (0) = xo , · · · , X (k) = xk ) = P(X (k + 1) = xk+1 |X (k) = xk ). Detta villkor brukar benämnas Markov-villkoret efter den ryske matematikern A. Markov. klave 0 10 20 30 40 50 Tid 6 2 D Föreläsning 14: Matstat AK för CD VT-04 Föreläsning 14: Matstat AK för CD VT-04 EXEMPEL 2 Slumpvandring Symmetrisk slumpvandring 4 2 TILLSTÅND 0 De värden som de stokastiska variablerna X (k), k = 0, 1, 2, · · · kallas tillstånd. Vanligtvis betecknar man tillstånden E1 , E2 , · · · . Processerna i exempel 1,2 och 3 är Markovkedjor där tillstånden i exempel 1 är “krona” och “klave” i exempel 2 alla heltal Z och i exempel 3 är det heltalen 0–5. (Exempel 4 har alla reella tal som sina tillstånd och är därför ingen Markovkedja, den uppfyller dock Markov-villkoret fX (k)|X (k−1)=xk−1 ,··· ,X (0)=x0 (xk ) = fX (k)|X (k−1)=xk−1 (xk ), xk ∈ R.) −2 −4 −6 −8 0 10 20 30 40 50 Tid 7 3 D Föreläsning 14: Matstat AK för CD VT-04 Föreläsning 14: Matstat AK för CD VT-04 EXEMPEL 3 Maxprocess Kumulativt max av oberoende Bin(5,1/2)−variabler 4 ÖVERGÅNGSSANNOLIKHETER 3.5 Sannolikheter av typen 3 pij (k) = P(X (k) = Ej |X (k − 1) = Ei ) 2.5 kallas övergångssannolikheter, mer exakt sannolikheten för övergång från tillstånd i vid tidpunkten k − 1 till tillstånd j vid tidpunkten k. Om övergångssannolikheterna bara beror på tillstånden Ei och Ej och inte på tidpunkten k kallas Markovkedjan tidshomogen. 2 1.5 1 I fortsättningen kommer vi att anta att våra Markovkedjor är tidshomogena och skriver därför bara pij för övergångssannolikheten från tillstånd i till tillstånd j. 0.5 0 0 10 20 30 40 50 Tid 4 8 ÖVERGÅNGSMATRIS Om Markovkedjan har ändligt många tillstånd kan vi samla alla övergångssannolikheter i en matris P där element Pij = pij , dvs övergångssannolikheten från tillstånd i till tillstånd j. Om vi har N olika tillstånd blir P en N × N matris: p p12 · · · p1N 11 p21 p22 · · · p2N P= . . . . .. . . .. .. pN 1 pN 2 ··· TILLSTÅNDSGRAF EXEMPEL 1 0.5 0.5 0.5 Krona pNN Klave 0.5 Exempelvis beskriver elementen längs diagonalen sannolikheten att bli kvar i samma tillstånd som tidigare. Eftersom övergångmatrisen skall beskriva alla möjliga övergångar måste varje rad summera till ett. 9 13 D Föreläsning 14: Matstat AK för CD VT-04 Föreläsning 14: Matstat AK för CD VT-04 TILLSTÅNDSGRAF EXEMPEL 3 1/32 5/32 10/32 ÖVERGÅNGSMATRIS (EXEMPEL) 1/32 10/32 EXEMPEL 1: Kalla “krona” för E1 och “klave” för E2 . Vi får då övergångsmatrisen 1/2 1/2 P= 1/2 1/2 5/32 1/32 6/32 16/32 26/32 31/32 1 0 1 2 3 4 5 5/32 10/32 10/32 10/32 5/32 5/32 1/32 1/32 1/32 14 10 D Föreläsning 14: Matstat AK för CD VT-04 EXEMPEL 3: Låt Y ∈ Bin(5, 1/2) och låt tillstånden E1 till E6 representera talen 0 till 5. Vi kan nu skriva övergångsmatrisen som P(Y = 0) P(Y = 1) P(Y = 2) P(Y = 3) P(Y = 4) P(Y = 5) 0 P(Y ≤ 1) P(Y = 2) P(Y = 3) P(Y = 4) P(Y = 5) 0 0 P(Y ≤ 2) P(Y = 3) P(Y = 4) P(Y = 5) P = 0 0 0 P(Y ≤ 3) P(Y = 4) P(Y = 5) 0 0 0 0 P(Y ≤ 4) P(Y = 5) 0 0 0 0 0 P(Y ≤ 5) 1 5 10 10 5 1 0 6 10 10 5 1 1 1 0 0 16 10 5 = 32 0 0 0 26 5 1 0 0 0 0 31 1 0 0 0 0 0 32 Föreläsning 14: Matstat AK för CD VT-04 ÖVERGÅNGSSANNOLIKHETER AV HÖGRE ORDNING p(r) ij = P(Ei → Ej i r steg) Vi har att p(r) ij ges av element (i, j) i matrisen P r , dvs n o = P (r) = P r p(r) ij i=1,··· ,N ,j=1,··· ,N Allmänt gäller att P (r+s) = P (r) P (s) Detta samband kallas “Chapman-Kolmogorovs sats”. 15 11 D Föreläsning 14: Matstat AK för CD VT-04 Föreläsning 14: Matstat AK för CD VT-04 TILLSTÅNDSGRAF Ett praktiskt sätt att visualisera en Markov-kedja är att rita upp dess tillståndgraf. 0.6 0.1 0.2 0.7 E1 E3 ABSOLUTA SANNOLIKHETER E2 p(n) = P(X (n) = E1 ), P(X (n) = E2 ), · · · , P(X (n) = EN ) Om vi utnyttjar “Chapman-Kolmogorovs sats” fås att 0.7 0.4 p(n) = p(0) P n , n ≥ 0, 0.3 Detta svarar mot en övergångsmatris enligt följande 0.6 0.4 0 P= 0.1 0.2 0.7 0.3 0 0.7 12 där p(0) = P(X (0) = E1 ), P(X (0) = E2 ), · · · , P(X (0) = EN ) . 16