Matrix/Stochastisch/Potenzen/Textabschnitt

Wir untersuchen nun die Potenzen von stochastischen Matrizen mit Hilfe der Summennorm und den Ergebnissen der letzten Vorlesung.

Korollar

Eine spaltenstochastische Matrix

ist stabil.

Beweis

Für einen beliebigen Vektor ${}v\in V$ ist Wegen

${}{\begin{aligned}\mid \mid \!Mv\!\mid \mid _{\operatorname {sum} }&=\sum _{i=1}^{n}\vert {(Mv)_{i}}\vert \\&=\sum _{i=1}^{n}\vert {\sum _{j=1}^{n}a_{ij}v_{j}}\vert \\&\leq \sum _{i=1}^{n}{\left(\sum _{j=1}^{n}a_{ij}\vert {v_{j}}\vert \right)}\\&=\sum _{j=1}^{n}\vert {v_{j}}\vert {\left(\sum _{i=1}^{n}a_{ij}\right)}\\&=\sum _{j=1}^{n}\vert {v_{j}}\vert \\&=\mid \mid \!v\!\mid \mid _{\operatorname {sum} }.\end{aligned}}$

Iterative Anwendung dieser Beobachtung zeigt, dass Fakt  (2) erfüllt ist.

$\Box$

Lemma

Es sei

${}M=(a_{ij})_{1\leq i,j\leq n}\,$

eine reelle quadratische Matrix mit nichtnegativen Einträgen.

Dann ist ${}M$ genau dann spaltenstochastisch, wenn ${}M$ für Vektoren mit nichtnegativen Einträgen isometrisch bezüglich der Summennorm ist, wenn also

${}\Vert {Mv}\Vert _{\rm {sum}}=\Vert {v}\Vert _{\rm {sum}}\,$

für alle ${}v\in \mathbb {R} _{\geq 0}^{n}$ gilt.

Beweis

Es sei ${}M$ eine spaltenstochastische Matrix und

${}v={\begin{pmatrix}v_{1}\\\vdots \\v_{n}\end{pmatrix}}\,$

ein Vektor mit nichtnegativen Einträgen. Dann ist

${}{\begin{aligned}\Vert {Mv}\Vert _{\rm {sum}}&=\sum _{i=1}^{n}(Mv)_{i}\\&=\sum _{i=1}^{n}{\left(\sum _{j=1}^{n}a_{ij}v_{j}\right)}\\&=\sum _{j=1}^{n}v_{j}{\left(\sum _{i=1}^{n}a_{ij}\right)}\\&=\sum _{j=1}^{n}v_{j}\\&=\Vert {v}\Vert _{\rm {sum}}.\end{aligned}}$

Wenn umgekehrt die angegebene isometrische Eigenschaft gilt, so gilt insbesondere für die Bilder der Standardvektoren, dass ihre Summennorm gleich ${}1$ sein muss. Diese Bilder stehen in der entsprechenden Spalte der Matrix, alle Spaltensummen haben also den Wert ${}1$.

$\Box$

Lemma

Es sei ${}M$ eine spaltenstochastische Matrix. Dann gelten folgende Aussagen.

1. Es gibt Eigenvektoren zum Eigenwert ${}1$.
2. Wenn es eine Zeile gibt, in der alle Einträge positiv sind, so gilt für jeden Vektor ${}v\in V$, der sowohl positive als auch negative Einträge besitzt, die Abschätzung

   ${}\mid \mid \!Mv\!\mid \mid _{\operatorname {sum} }<\mid \mid \!v\!\mid \mid _{\operatorname {sum} }\,.$

3. Wenn es eine Zeile gibt, in der alle Einträge positiv sind, so ist der Eigenraum zum Eigenwert ${}1$ eindimensional. Es gibt dann einen Eigenvektor, der nur nichtnegative Einträge hat und insbesondere eine eindeutig bestimmte stationäre Verteilung.

Beweis

(1). Die transponierte Matrix ist zeilenstochastisch und besitzt daher den Eigenvektor ${}{\begin{pmatrix}1\\1\\\vdots \\1\end{pmatrix}}$ zum Eigenwert ${}1$. Daher besitzt nach Fakt das charakteristische Polynom der transponierten Matrix eine Nullstelle an der Stelle ${}1$ und dies gilt nach Aufgabe dann auch für die ursprüngliche Matrix. Daher besitzt ${}M$ einen Eigenvektor zum Eigenwert ${}1$.

(2). Es seien nun zusätzlich alle Einträge der ${}k$-ten Zeile positiv und ${}v\in V$ sei ein Vektor mit (mindestens) einem positiven und einem negativen Eintrag. Dann ist

${}{\begin{aligned}\mid \mid \!Mv\!\mid \mid _{\operatorname {sum} }&=\sum _{i=1}^{n}\vert {(Mv)_{i}}\vert \\&=\sum _{i=1}^{n}\vert {\sum _{j=1}^{n}a_{ij}v_{j}}\vert \\&=\sum _{i\neq k}\vert {\sum _{j=1}^{n}a_{ij}v_{j}}\vert +\vert {\sum _{j=1}^{n}a_{kj}v_{j}}\vert \\&<\sum _{i\neq k}\sum _{j=1}^{n}a_{ij}\vert {v_{j}}\vert +\sum _{j=1}^{n}\vert {a_{kj}v_{j}}\vert \\&=\sum _{i=1}^{n}\sum _{j=1}^{n}a_{ij}\vert {v_{j}}\vert \\&=\sum _{j=1}^{n}\vert {v_{j}}\vert {\left(\sum _{i=1}^{n}a_{ij}\right)}\\&=\sum _{j=1}^{n}\vert {v_{j}}\vert \\&=\mid \mid \!v\!\mid \mid _{\operatorname {sum} }.\end{aligned}}$

(3). Wie im Beweis zu (2) seien alle Einträge der ${}k$-ten Zeile positiv. Für einen jeden Eigenvektor ${}v$ zum Eigenwert ${}1$ sind nach (2) entweder alle Einträge nichtnegativ oder nichtpositiv. Somit ist für einen solchen Vektor wegen ${}Mv=v$ der ${}k$-te Eintrag ungleich ${}0$. Es seien ${}v,w$ solche Eigenvektoren. Dann gehört auch ${}{\frac {w_{k}}{v_{k}}}v-w$ zum Fixraum. Allerdings ist die ${}k$-te Komponente davon gleich ${}0$ und daher ist es der Nullvektor. Das bedeutet, dass ${}v$ und ${}w$ linear abhängig sind. Somit ist dieser Eigenraum eindimensional. Wegen (2) gibt es einen Eigenvektor zum Eigenwert ${}1$ mit nichtnegativen Einträgen. Durch Normieren sieht man, dass es auch eine stationäre Verteilung gibt.

$\Box$

Beispiel

Wir betrachten die spaltenstochastische ${}3\times 3$-Matrix

${\begin{pmatrix}{\frac {1}{3}}&{\frac {1}{3}}&{\frac {1}{3}}\\{\frac {1}{2}}&{\frac {2}{3}}&0\\{\frac {1}{6}}&0&{\frac {2}{3}}\end{pmatrix}},$

bei der alle Einträge der ersten Zeile positiv sind. Nach Fakt gibt es eine eindeutige Eigenverteilung. Um diese zu bestimmen, berechnet man den Kern von

${}{\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}}-{\begin{pmatrix}{\frac {1}{3}}&{\frac {1}{3}}&{\frac {1}{3}}\\{\frac {1}{2}}&{\frac {2}{3}}&0\\{\frac {1}{6}}&0&{\frac {2}{3}}\end{pmatrix}}={\begin{pmatrix}{\frac {2}{3}}&-{\frac {1}{3}}&-{\frac {1}{3}}\\-{\frac {1}{2}}&{\frac {1}{3}}&0\\-{\frac {1}{6}}&0&{\frac {1}{3}}\end{pmatrix}}\,.$

Dieser wird von ${}{\begin{pmatrix}2\\3\\1\end{pmatrix}}$ erzeugt und die stationäre Verteilung ist

${}{\begin{pmatrix}{\frac {2}{6}}\\{\frac {3}{6}}\\{\frac {1}{6}}\end{pmatrix}}={\begin{pmatrix}{\frac {1}{3}}\\{\frac {1}{2}}\\{\frac {1}{6}}\end{pmatrix}}\,.$

Beispiel

Für die spaltenstochastische ${}3\times 3$-Matrix

${\begin{pmatrix}1&0&{\frac {1}{3}}\\0&1&{\frac {1}{3}}\\0&0&{\frac {1}{3}}\end{pmatrix}}$

ist der Eigenraum zum Eigenwert ${}1$ gleich ${}\langle e_{1},\,e_{2}\rangle$, also zweidimensional. Die Aussage Fakt gilt also nicht, wenn es eine Spalte (aber keine Zeile) mit ausschließlich positiven Einträgen gibt.

Satz

Es sei ${}M$ eine spaltenstochastische Matrix mit der Eigenschaft, dass es eine Zeile gibt, in der alle Einträge positiv sind.

Dann konvergiert zu jedem Verteilungsvektor ${}v\in \mathbb {R} _{\geq 0}^{n}$ mit ${}\sum _{i=1}^{n}v_{i}=1$ die Folge ${}M^{n}v$ gegen die eindeutig bestimmte stationäre Verteilung von ${}M$.

Beweis

Es sei ${}w\in \mathbb {R} ^{n}$ die nach Fakt  (3) eindeutig bestimmte stationäre Verteilung und

${}U={\left\{{\begin{pmatrix}u_{1}\\\vdots \\u_{n}\end{pmatrix}}\mid \sum _{i=1}^{n}u_{i}=0\right\}}\subseteq \mathbb {R} ^{n}\,.$

Dies ist ein Untervektorraum von ${}\mathbb {R} ^{n}$ der Dimension ${}n-1$. Nach Fakt  (2) hat ${}w$ ausschließlich nichtnegative Einträge und gehört damit nicht zu ${}U$. Wegen

${}{\begin{aligned}\sum _{i=1}^{n}(Mu)_{i}&=\sum _{i=1}^{n}{\left(\sum _{j=1}^{n}a_{ij}u_{j}\right)}\\&=\sum _{j=1}^{n}u_{j}{\left(\sum _{i=1}^{n}a_{ij}\right)}\\&=\sum _{j=1}^{n}u_{j}\end{aligned}}$

ist ${}U$ invariant unter der Matrix ${}M$. Somit ist

${}V=U\oplus \mathbb {R} w\,$

eine direkte Summenzerlegung in invariante Untervektorräume. Für jedes ${}u\in U$ mit ${}\mid \mid \!u\!\mid \mid _{\operatorname {sum} }=1$ ist

${}\mid \mid \!Mu\!\mid \mid _{\operatorname {sum} }<1\,$

nach Fakt  (2). Da die Sphäre zum Radius ${}1$ bezüglich jeder Norm kompakt ist, ist die induzierte Maximumsnorm von ${}M{|}_{U}$ kleiner als ${}1$. Nach Fakt und Fakt konvergiert daher die Folge ${}M^{n}u$ für jedes ${}u\in U$ gegen den Nullvektor.

Es sei nun ${}v\in V$ ein Verteilungsvektor, den wir wegen

${}\sum _{i=1}^{n}v_{i}=1=\sum _{i=1}^{n}w_{i}\,$

als

${}v=w+u\,$

mit ${}u\in U$ schreiben können. Wegen

${}M^{n}v=M^{n}(w+u)=M^{n}w+M^{n}u=w+M^{n}u\,$

und der Vorüberlegung konvergiert diese Folge gegen ${}w$.

$\Box$

Bemerkung  

In der Situation von Fakt kann man die Eigenverteilung dadurch finden, dass man ein lineares Gleichungssystem löst. Wenn es sich um eine sehr große Matrix (man denke an ${}\geq 10^{9}$ Knoten) handelt, ist eine solche Rechnung sehr aufwändig. Häufig muss man die Eigenverteilung aber gar nicht genau kennen, sondern es reicht eine gute Approximation aus. Dann kann man zu einer beliebigen Startverteilung endlich viele Iterationen ausrechnen und weiß aufgrund von Fakt, dass dieses Verfahren die Eigenverteilung beliebig gut approximiert. Eine Suchmaschine im Internet erstellt beispielsweise zu einem Suchbegriff eine Reihenfolge von Seiten, die diesen Begriff enthalten. Wie kommt diese Reihenfolge zustande? Die wahre Antwort ist, zumindest für die ersten Einträge, dass dies davon abhängt, wer am meisten dafür zahlt. Ansonsten ist ein natürlicher Ansatz, der auch Grundlage des Page ranks ist, die numerische Ordnung in der Eigenverteilung als ausschlaggebend anzusehen. Der oberste Eintrag ist derjenige, bei dem die meisten Leute „schließlich“ landen, wenn sie mit gleicher Wahrscheinlichkeit den möglichen Links folgen. Diese Wanderungsbewegung wird eben durch die stochastische Matrix, die man im Sinne von Beispiel erhält, modelliert.

Den numerischen Unterschied zwischen dem exakten Lösen eines linearen Gleichungssystems zur Bestimmung eines Eigenvektors und der Potenzmethode kann man folgendermaßen erfassen. Sei eine ${}n\times n$-Matrix gegeben. Das Gaussche Eliminationsverfahren braucht, um die erste Variable in ${}n-1$ Gleichungen zu eliminieren, ${}n(n-1)\sim n^{2}$ Multiplikationen (Additionen sind vom Rechenaufwand her einfacher und werden hier nicht berücksichtigt), die Größenordung der Multiplikationen der Gesamtelimination ist somit

${}n^{2}+(n-1)^{2}+(n-2)^{2}+\cdots +1\sim {\frac {1}{6}}n^{3}\,.$

Dagegen sind für die Auswertung der Matrix auf einen Vektor ${}n^{2}$ Multiplikationen nötig. Wenn man ${}k$ Iterationen berechnen möchte, braucht man also ${}kn^{2}$ Operationen. Wenn also ${}k$ deutlich kleiner als ${}n$ gewählt werden kann, so ist der Gesamtrechenaufwand deutlich kleiner.