- Eine Folge von Zufallsgrößen
über Fehler beim Parsen (SVG (MathML kann über ein Browser-Plugin aktiviert werden): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „http://localhost:6011/de.wikiversity.org/v1/“:): {\displaystyle (\Omega, \mathcal F, P)}
mit abzählbarem Zustandsraum
- Fehler beim Parsen (Syntaxfehler): {\displaystyle I := \bigcup_{n\in\N} X_n(\Omega)}
- (o. B. d. A. gelte
) heißt Markov-Kette in diskreter Zeit, falls für alle
,
mit
gilt:

- Die Markov-Kette heißt homogen, falls
unabhängig von
ist.
- Die
heißen 1-Schritt-Übergangswahrscheinlichkeiten.
heißt Matrix der 1-Schritt-Übergangswahrscheinlichkeiten.
ist eine stochastische Matrix, d. h.:
für alle
und
für alle
.
Ein Spieler gewinnt 1 € mit Wk.
und verliert 1 € mit Wk.
. Er spielt, bis er entweder 0 oder
€ hat. Die Spiele seien unabhängig.
sei gegeben.
- zufälliges Vermögen nach
Spielen.
ist eine homogene Markovkette mit folgender Matrix der 1-Schritt-Übergangswahrscheinlichkeiten:

- Sei
eine homogene Markov-Kette. Die Verteilung von
ist eindeutig festgelegt durch ihre Matrix
der Übergangswahrscheinlichkeiten und die Anfangsverteilung von
. Mit
gilt:

- Sei
eine Markov-Kette,
. Dann gilt die Chapman-Kolmogoroff-Gleichung:

- oder kurz:

Sei nun
eine homogene Markov-Kette. Es gilt also:
(die
-Schritt-Übergangswahrscheinlichkeiten sind unabhängig von
).
- Mit
gilt:
(
-faches Matrix-Produkt).
homogene Markov-Kette,
. Dann gilt:

Beispiel 1.2 (Summe unabhängiger Zufallsgrößen)
[Bearbeiten]
Seien
unabhängige Zufallsgrößen auf
mit Werten in
. Sei
ist Markov-Kette, denn:

- (1.1)

- (1.2)

- (1.3)

- (1.4)

Die Markov-Kette ist homogen
i. i. d.
Spezialfall für Summe unabhängiger Zufallsgrößen mit
i. i. d.,
. Dann gilt:

Beispiel 1.4 (Irrfahrt mit absorbierenden Rändern)
[Bearbeiten]

homogene Markov-Kette.
.
- Ein Zustand
heißt aus
erreichbar
, falls
mit
. Die Zustände
und
heißen verbunden
, falls
und
.
- "
" ist eine Äquivalenzrelation. Mit
gilt also:


- heißt die Periode von
. Die Markov-Kette heißt aperiodisch, falls
für alle
.
- Es gilt:
- a)

- b) Für alle
existiert ein
, so dass
für alle
.
- c) Sei
für ein
. Dann gilt:
für alle
.
- Ein Zustand
heißt absorbierend, falls
.
Beispiel 1.5 (Irrfahrt mit absorbierendem Rand)
[Bearbeiten]
und
.
Bezeichne
den Zeitpunkt des 1. Erreichens von
, startend in
. Also:




Weiter sei

die Wahrscheinlichkeit, dass nach endlicher Zeit
erreicht wird, startend in
.
- Ein Zustand
heißt rekurrent, falls
, transient, falls
. Ein rekurrenter Zustand
heißt positiv-rekurrent, falls

- und null-rekurrent, falls
.
- Zeitpunkt der 1. Rückkehr nach
rekurrent:
-fast sicher
positiv-rekurrent: 
null-rekurrent: 
transient:
.
- Es gilt:
- (1.5)
für alle
,
- (1.6)
für alle
.
Ziel ist es nun, die Eigenschaft der Rekurrenz nur mit Hilfe der
zu charakterisieren.
- Sei
Zahlenfolge in
. Die Funktion
mit
für alle 
- heißt die erzeugende Funktion von
.
Dementsprechend seien also

die erzeugenden Funktionen von
und
.
- Für alle
gilt:
- (1.7)
für alle
,
- (1.8)
für alle
.
- Sei
. Dann gilt:
- a)

- b)

- Es gilt:
- a)
rekurrent
.
- b)
,
rekurrent
rekurrent.
Sei
.
homogene Markov-Kette. Dann gilt:

- Falls
rekurrent und
und
.
- Eine homogene Markov-Kette heißt
- a) aperiodisch, falls
für alle
,
- b) irreduzibel, falls
für alle
und
- c) rekurrent, falls
rekurrent für alle
.
rekurrent,
.
homogene Markov-Kette. Dann gilt:
- a) verbundene Zustände sind entweder alle rekurrent oder alle transient.
- b) verbundene rekurrente Zustände sind entweder alle positiv-rekurrent oder alle null-rekurrent.
- Eine Verteilung
, also
und

- heißt stationäre Verteilung einer Markov-Kette mit Matrix
, falls:
für alle
.
Falls
Anfangsverteilung, dann sind
alle identisch verteilt gemäß
.
- Sei
eine irreduzible, homogene Markov-Kette mit Übergangsmatrix
. Dann besitzt die Kette genau dann eine stationäre Verteilung, wenn alle Zustände positiv-rekurrent sind. In dem Fall ist die Verteilung eindeutig bestimmt durch:

- Eine Äquivalenzklasse
ist genau dann aperiodisch, d. h.
für alle
, wenn für alle
ein
existiert, so dass
für alle
.
sei eine homogene, irreduzible, aperiodische und positiv-rekurrente Markov-Kette.
sei die dazugehörige stationäre Verteilung.
habe eine beliebige Verteilung. Dann gilt:
für alle
.
- Es gilt
für alle
.
Ziel: Modellierung (physikalischer) Angleichungsprozesse
Betrachtet werden zwei Kammern A und B mit durchlässiger Trennwand. In jedem Schritt wandert genau ein Molekül entweder von A nach B oder von B nach A - mit Tendenz zum Ausgleich.
Sei also
die Gesamtzahl der Moleküle und
die Anzahl der Moleküle in Kammer A zur Zeit
(also
in Kammer B).
Die "Tendenz zum Ausgleich" wird wie folgt modelliert:

Also:

Die stationäre Verteilung
ist gegeben durch:
, also
.
Es gilt:

und

Speziell sei jetzt
und die Anfangsverteilung
, also auch
für alle
. Dann gilt
und

Die Wahrscheinlichkeit, eine Abweichung größer als 1% vom Erwartungswert (ausgeglichener Zustand) zu beobachten, ist praktisch nicht von 0 zu unterscheiden. Außerdem gilt:
, speziell
,
also die mittlere Wartezeit, erneut 0 Moleküle in Kammer A zu beobachten, wenn gerade 0 Moleküle darin sind.
Zu
gehen
Bestellungen ein
. Je Zeiteinheit wird eine Bestellung bearbeitet. Wir bezeichnen mit
die Anzahl der Kunden zum Zeitpunkt
.
für
, wobei
.