Linjära ekvationssystem
Linjär Algebra
n obekanta & n ekvationer
a11x1 + a12x2 + a13x3 + … + a1n xn = b1
a21x1 + a22 x2 + a23x3 + … + a2nxn = b2
Ax = b
…
an1 x1 + an2x2 + an3x3 + … + annxn = bn
3
1
-Ekvationssystem
3
2
-Ekvationssystem
Viktiga begrepp
Linjära ekvationssystem
❍
Ax = b
A=
där A n × n-matris och b n × 1-vektor
a11
a12 a13 … a1n
b1
a21
a22 a23 … a2n
b2
a31
a32 a33 … a3n
b=
…
an1
3
b3
…
an2 an3 … ann
bn
3
-Ekvationssystem
3
❍
Ortogonalitet
xTy = 0, samt QTQ = I
❍
Linjärt oberoende
Ax = 0 ↔ x = 0
❍
Bas
spänner upp vektorrum
❍
Rang
rang(A) = dim(R(A))
❍
Värderum
R(A) = { b෯෯ Rm| b=Ax, x෯෯ Rn }
❍
Nollrum
N(A) = { x ෯ Rn | Ax = 0 }
4
-Ekvationssystem
Kolumnerna i A
Exempel
1
0
1
Exempel : A 3×
×3-matris
5
4
9
Ax = b kan lösas ⇔ b ligger i det plan som spänns upp
av A’s kolumner ( underrum till R3 )
2
4
6
R
Detta rum kallas värderummet till A, R(A)
b1 = 0
0
-Ekvationssystem
(A) spänns upp av t.ex.
1
Lösningarna till Ax = 0 utgör nollrummet till A, N(A)
3
kol1 + kol2 = kol3
5
3
-Ekvationssystem
1
∉ R (A)
medan b2 =
0 ∈
R
1
0
5
4
2
4
(A)
-3
6
Entydig lösning till Ax=b
Handräkning
❍
Ekvivalenta utsagor
Vad gör man ?
●
❍
Kolumnerna i A utgör bas för Rn
❍
Kolumnerna i A är linjärt oberoende
❍
A är ickesingulär
❍
A är inverterbar
❍
Ax = 0 ⇔ x=0
❍
det(A) ≠ 0
●
●
3
Nollställ varje kolumn under huvuddiagonalen
gör samtidigt samma operationer på högerledet
Lös det triangulära systemet med
bakåtsubstitution
Överför matrisen på triangulär form genom att
eliminera obekanta ur ekvationerna
7
-Ekvationssystem
3
Triangulära system
❍
Bakåtsubstitution
Enkla att lösa
❍
Lös Ux = c där U övertriangulär
alla diagonalelement ≠ 0 förutsätts
18 −21 −3
5 2
Övertriangulär U = 0
0
0
1
»U\c
xn =cn/unn
xi = (ci - ∑uij·xj)/uii
1 0 0
Undertriangulär L = −1/ 3 1 0
−2 / 3 2 1
3
8
-Ekvationssystem
ans =
2
1
9
-Ekvationssystem
3
10
-Ekvationssystem
Två svårigheter
Pivotering
① något diagonalelement blir 0 ⇒ byt rader
❍
Viktigt att pivot-elementen ≠ 0
① ett diagonalelement väldigt litet, naturligt
eller pga. avrundningsfel
⇒ bra om el. inte växer |m| < 1
⇒ välj det största el. i kol.
❍
Vi vill ha så stort pivot-el. som möjligt
(beloppet)
❍
❍
3
1
i = n-1, n-2, …, 1
-Ekvationssystem
11
3
Byt rader i matrisen (och i högerledet) för att
ordna detta. (Pivotera)
Genom detta blir alla multiplikatorer mik =
aik/akk till beloppet < 1
-Ekvationssystem
12
Permutationer
❍
❍
3
Permutationsmatriser
Att låta två rader byta plats kan utföras med
matrismultiplikation från vänster
P
1
0
-2
A
3 1
=
0
*
1
0
0
-6
13
3
=
0
0
1
2
13
5
-6
P*A
13
3
-2
3
1
2
13
5
❍
❍
❍
❍
En enhetsmatris med omkastade rader
13
-Ekvationssystem
3
Enkel - byter två rader
En enkel permutations matris är symmetrisk
P = PT = P-1
En produkt av permutationsmatriser är en
permutationsmatris P = P1·P2…·Pn
Multiplikation med P från höger permuterar
kolumner
14
-Ekvationssystem
Pivotera inte.....
LU-faktorisering
… när matrisen är
❍
Diagonaldominant
n
∑a
j =1, j ≠i
❍
❍
ij
Gausselimination med partiell pivotering (på
ickesingulär matris)
PA = LU
≤ aii , i = 1,2,K,n
❍
Lös Ax = b
●
●
symmetrisk och positivt definit
●
Förekommer t.ex. vid diskretisering av randvärdesproblem för
diff.ekvationer
3
15
-Ekvationssystem
A
b
18 -21 -3
-6
12 3
-12 24 7
1
0
-1/3 1
-2/3 2
L
3
●
-Ekvationssystem
0
0
1
x
y=
=
-27
21
43
b
-27
21
43
3
PAx = Pb
LUx = Pb
Ly = Pb
Ux = y
16
-Ekvationssystem
Ax = b
Ux = y
Ax = b
Ax = b
LUx = b
Ly = b
Ux = y
-27
⇒ y = 12
1
17
3
U
y
18 -21 -3
0
5
2
0
0
1
-27
12
1
-Ekvationssystem
x=
⇒ x=
1
2
1
LUx = b
Ly = b
Ux = y
18
Komplexitet / “Kostnad”
Normer
❍
Samma A - olika b
●
LU-uppdelningen återanvänds
En vektornorm är ett mått på längden hos en
vektor och uppfyller
●
LU-faktoriseringen
●
●
n3/3 mult. & additioner
●
Framåt/bakåt substitutionen
●
●
●
3
●
|| x || ≥ 0, för alla x
|| x || = 0 omm x = 0
|| αx || = |α| · || x ||
|| x+y || ≤ || x || + || y ||
för att beräkna xi åtgår n-i additioner och
multiplikationer (+ en division)
för n obekanta blir det 0.5·(n2 - n)
totalt c:a n2
19
-Ekvationssystem
3
20
-Ekvationssystem
Olika vektornormer
p 1/p
n
x
p
Felen
= (∑
|x i|
i=1
)
❍
För en given vektornorm definieras
n
! 1-norm
x
1
= ∑|x i|
●
i=1
●
n
3
absoluta felet ∆x = x^ - x
relativa felet
2 1/2
! 2-norm
x
2
= (∑
|x i|
i=1
! ∞-norm
x
∞
= max|x i|
)
||∆x||
|| ||
||||x^ - x||||
=
||x||
|| ||
||x||
|| ||
i
21
-Ekvationssystem
3
22
-Ekvationssystem
Matrisnorm
❍
Matrisnormer
Härleds från vektornomen
! 1-norm
Ax
A = max
x
! ∞-norm
n
1
= max ∑ |aij |
∞
= max ∑ |aij |
A
n
A
En sådan matrisnorm satisfierar
●
●
●
●
3
-Ekvationssystem
i=1
j
i
j=1
n
! F-norm
A ≥ 0, för alla A
A = 0 omm A=0
αA = |α
α| A
A + B
≤
A+B
A
F
n
1/2
∑ |a ij|2 )
=( ∑
j=1 i=1
!2-normen :
roten ur största egenvärdet till ATA
= största singulära värdet
23
3
-Ekvationssystem
24
Egenskaper
3
Konditionstal
(p-normer)
①
||A
|| || > 0 om A≠ 0
①
||αA||
||α || = |α|·||
|α| || A|||| för varje skalär α
①
||A+B||
|| ≤ ||A||
||
|| || + ||B||
|| ||
①
||AB||
|| || ≤ ||A||
|| || · ||B||
|| ||
①
||Ax||
|| || ≤ ||A
|| || · || x|||| för varje vektor x
❍
❍
❍
En störning i b ger en störning i x
A(x +∂x) = b +∂b
Relativa störningen i lösningen blir
∂x
x
25
-Ekvationssystem
Det exakta systemet Ax = b, har den exakta
lösningen x
3
≤ A
3
A
❍
cond(A) → ∞
❍
det(A) = 0 ⇔ A singulär
cond(A) ≥ 1
①
cond(I) = 1
enhetsmatrisen
det(α
αIn) = αn godtyckligt litet för |α
α|< 1
①
cond(P) = 1
P permutationsmatris
cond(α
αIn) = cond(In) = 1
①
cond(α
αA) = cond(A)
①
cond(D) =
α skalär
max|di|
min|di|
D diagonalmatris
27
3
A1
\ b = x
0.0001 1.0000 2.0000 0.0001
1.0000 1.0000 2.0001 2.0000
A1
\ b = x
0.0001 1.0000 2.0000
0
1.0000 1.0000 2.0000 2.0000
-Ekvationssystem
28
-Ekvationssystem
Illa-konditionerad matris
»norm(A1)
ans =
1.6181
»cond(A1)
ans =
2.6184
Liten ändring i b ger liten ändring i x
3
A → singulär
①
Välkonditionerad matris
2
26
Jmfr med determinant
A-1
-Ekvationssystem
1
∂b
b
-Ekvationssystem
Egenskaper
cond(A) =
A-1
1
A2
\ b = x
1.0000 1.0000 2.0000
2.0000
1.0000 1.0001 2.0000
0
2
A2
\ b =
x
1.0000 1.0000 2.0000
1.0000
1.0000 1.0001 2.0001
1.0000
»norm(A2)
ans =
2.0001
»cond(A2)
ans =
4.0002e+04
Liten ändring i b ger stor ändring i x
29
3
-Ekvationssystem
30
^
Residualen r = b - Ax
Slutsats
! Ändringen 10-4 i högerledet förstorades till
en ändring av storleksordningen 1
❍
Liten residual garanterar inte korrekt lösning
❍
Korrekt lösning kan ha stor residual
!A2 är nära singulär - stort konditionstal
Oavsett numerisk metod så kommer vi inte
ifrån detta!
A=
♠ Även en väl-konditionerad matris kan
förstöras av en dålig algoritm
3
1.0010
1.0000
1.0000
»cond(A) = 4.0020e+03
31
-Ekvationssystem
1.0000
3
32
-Ekvationssystem
Liten residual
b1 =
Stor residual
x1 =
b3 =
2.001
1
1
-1000
2.000
1
0
1000
x2 =
»norm(x1-x2)/norm(x1) = 1
»norm(x3-x4)/norm(x3) = 7.0711e-04
x4 =
2
-1001
0
3
»norm(b1-A*x2) = 1.0000e-03
1000
33
-Ekvationssystem
3
Symmetri
t.ex. AT=A
❍
Pos.definit
xTAx > 0, alla x ≠ 0
❍
Band
t.ex.
3
-Ekvationssystem
x
0
0
0
0
0
x
0
34
Symmetriska pos.def. system
A kan Cholesky-faktoriseras A = LLT
❍
Gleshet
t.ex.
(se Matlabs sparse)
»norm(b3-A*x4) = 1.4142
-Ekvationssystem
Egenskaper som kan utnyttjas
❍
x3 =
0
0
0
x
0
x
x
0
35
3
❍
Kräver inte pivotering för num. stablilitet
❍
Bara halva matrisen behövs
❍
n3/6 operationer (hälften mot LU)
-Ekvationssystem
36
Bandsystem
Glesa system
Mycket likt vanlig LU
●
●
●
❍
lagrar bara el ≠ 0
kortare loopar jmf med Gaussel.
pivotering kan öka bandbredden (max dubbelt)
PDE ger upphov till glesa system som ofta
löses bäst med iterativa metoder
Pivotering behövs ofta inte för tridiagonala, för
dessa är ofta antingen diagonaldominanta
eller pos.def
Faktoriseringen O(β
β2·n) β-bandbredden
3
-Ekvationssystem
37
3
-Ekvationssystem
38
