Kurs:Stochastik/Kovarianz

Einführung

Betrachtet man nun verschiedene Zufallsvariablen, so bilden nach der Betrachtung der Verteilungsparameter einzelner Zufallsgrößen nun Maße für den Zusammenhang zweier Zufallsvariablen $X$ und $Y$. Die Kovarianz ist eine positiv semidefiniter Bilinearform

Definition - Kovarianz

Für Zufallsvariablen $X$ und $Y$ auf $(\Omega ,{\mathcal {S}},P)$ mit $E(X^{2})<\infty ,E(Y^{2})<\infty$ definiert

$Cov(X,Y)=E{\big (}(X-E(X))\cdot (Y-E(Y)){\big )}$

die Kovarianz von $X$ und $Y$

Definition - Korrelationskoeffizienten

Für Zufallsvariablen $X$ und $Y$ auf $(\Omega ,{\mathcal {S}},P)$ mit $E(X^{2})<\infty ,E(Y^{2})<\infty$ definiert

$\rho (X,Y)={\frac {Cov(X,Y)}{\sigma (X)\cdot \sigma (Y)}}\quad {\text{mit }}\rho (X,Y)\in [-1,1]$

(sofern $\sigma (X)\cdot \sigma (Y)>0$) den Korrelationskoeffizienten (nach Pearson) von $X$ und $Y$, welcher angibt, ob ein positiver/negativer linearer Zusammehang zwischen den ZV existiert.

Definition - unkorrelliert

Zwei Zufallsvariablen $X$ und $Y$ auf $(\Omega ,{\mathcal {S}},P)$ mit $E(X^{2})<\infty ,E(Y^{2})<\infty$ heißen unkorreliert, falls $Cov(X,Y)=0$.

Bemerkung - Kovarianz und Korrelationskoeffizient

Zum Studium der Größen $Cov$ und $\rho$ benötien wir den folgenden Satz.

Satz - Cauchy-Schwarz-Ungleichung

Für die Zufallsvariablen $X,Y$ mit $E(X^{2})<\infty ,E(Y^{2})<\infty$ gilt:

• (CS1) $E|X\cdot Y|<\infty$
  
• (CS2) Cauchy-Schwarzsche-Ungleichung:

$(E(X\cdot Y))^{2}\leq E(X^{2})\cdot E(Y^{2})$

• (CS3) Das Gleichheitszeichen in (CS2) gilt genau dann, wenn es Zahlen $a,b\in \mathbb {R}$ gibt mit $a^{2}+b^{2}>0$ und

$a\cdot X(w)+b\cdot Y(w)=0$ .

Bemerkung zu CS3

Die Bedingung (CS3) bedeutet, dass die Zufallsgrößen $X$ und $Y$ den Nullvektor $0_{\Omega }$ als Zufallsgröße $0_{\Omega }:\Omega \to \mathbb {R}$ mit $a^{2}+b^{2}>0$ $P$-fast überall mit Koeffizienten $a\not =0$ oder $b\not =0$ nicht-trivial darstellen kann. Dies bedeutet, dass die Zufallsgrößen $X$ und $Y$ $P$-fast überall linear abhängig sind.

Beweis - Cauchy-Scharzsche Ungleichung

Für den Beweisschritt (CS1) und (CS2) wird die Ungleichung

$2\cdot |x\cdot y|\leq x^{2}+y^{2}$

verwendet. Dazu wird im Beweis die folgende Vorüberlegung erläutert.

Vorüberlegung CS1 und CS2

Zunächst einmal gilt für alle $x,y\in \mathbb {R}$:

$0\leq (x-y)^{2}\quad \wedge \quad 0\leq (x+y)^{2}$

Mit der Anwendung der binomischen Formeln erhält man:

$2xy\leq x^{2}+y^{2}\quad \wedge \quad 2xy\leq x^{2}+y^{2}$

und damit $2\cdot |x\cdot y|\leq x^{2}+y^{2}$ für alle $x,y\in \mathbb {R}$.

Beweis (CS1)

Durch Einsetzen der Ungleichung $2xy\leq x^{2}+y^{2}\quad \wedge \quad 2xy\leq x^{2}+y^{2}$ in die Definition des Erwartungswertes und der Verwendung der Linearität des Erwartungswertes erhält man:

$2\cdot E(|X\cdot Y|)\leq \underbrace {E(X^{2})} _{<\infty }+\underbrace {E(Y^{2})} _{<\infty }<\infty$

Beweis (CS2)

2. Sei $E(X^{2})=0$. Dann ist nach 2.2 i) $X(w)=0$ für alle $w$ mit $p_{w}>0$ und es gilt $E(X\cdot Y)=0$ und das Gleichheitszeichen in der Cauchy-Schwarzschen-Ungleichung. Ferner ist die Gleichung erfüllt (mit $a=1,b=0$).

Beweis (3) - Schritt 1

Sei $E(X^{2})>0$. Zunächst gilt für ein beliebiges $c\in \mathbb {R}$ unter Anwendung der Linearität vom Erwartungswert:

$0\leq E{\big (}(cX-Y)^{2}{\big )}=c^{2}E(X^{2})-2cE(X\cdot Y)+E(Y^{2})\quad (\ast )$

Beweis (3) - Schritt 2

Da die obige Ungleichung $(\ast )$ für ein beliebiges $c\in \mathbb {R}$ erfüllt ist, gilt diese insbesondere für ein speziell gewähltes $\textstyle c:={\frac {E(X\cdot Y)}{E(X^{2})}}$. Durch Einsetzen in die Ungleichung $(\ast )$ erhält man:

${\begin{array}{rclc}0&\leq &{\frac {(E(X\cdot Y))^{2}}{E(X^{2})}}-2\cdot {\frac {(E(X\cdot Y))^{2}}{E(X^{2})}}+E(Y^{2})&\\&=&E(Y^{2})-{\frac {(E(X\cdot Y))^{2}}{E(X^{2})}}&\Longrightarrow \\(E(X\cdot Y))^{2}&\leq &E(Y^{2})\cdot E(X^{2})\end{array}}$

d.h. die Cauchy-Schwarzsche Ungleichung.

Beweis (4)

Hier gilt das Gleichheitszeichen genau dann, wenn es in (*) gilt, d. h. wenn glt:

(**) $E(cX-Y)^{2}=0$

Aus (**) folgt über ii) die Gleichung aus iii) mit $a=c,b=-1$. Umgekehrt folgt auch aus iii) die Gleichung (**).

Folgerungen (1)

1. Aus

(+) $E(X^{2})<\infty ,E(Y^{2})<\infty$

folgt also die Existenz des Erwartungswertes von $X\cdot Y$: $E(X\cdot Y)<\infty$.

Im Fall der Unabhängigkeit der $X,Y$ benötigen wir in 1.5 anstatt (+) nur $E|X|<\infty ,E|Y|<\infty$.

Aus (+) folgt die Existenz der Kovarianz ($Cov(X,Y)$). In der Tat, in der Formel

(++) $Cov(X,Y)=E[X\cdot Y-Y\cdot E(X)-X(E(Y)+E(X)\cdot E(Y)]$

existieren gemäß 2.2 i) und i) sämtliche Erwartungswerte.

Folgerungen (2 - 3)

2. Formel (++) vereinfacht sich zur "Verschiebungsformel":

$Cov(X,Y)=E(X\cdot Y)-E(X)\cdot E(Y)$

3. Setzt man in die Cauchy-Schwarzsche Ungleichung $X-E(X),Y-E(Y)$ ein (anstatt $X,Y$), so erhält man

$(Cov(X,Y))^{2}\leq \sigma ^{2}(X)\cdot \sigma ^{2}(Y)$

d.h. es gilt $-1\leq \rho (X,Y)\leq 1$.

Folgerungen (4)

4. $|\rho (X,Y)|=1$ genau dann, wenn

$Y(w)-E(Y)=c(X(w)-E(X))$

für alle $w$ mit $p_{w}>0$.

Interpretation: $\rho (X,Y)$ ist ein Maß für den linearen Zusammenhang von $X$ und $Y$.

Eigenschaften der Varianz und Kovarianz (1)

Sei $E(X^{2})<\infty ,E(Y^{2})<\infty$ vorausgesetzt.

a) $Cov(aX+b,a'Y+b')=a\cdot a'Cov(X,Y)$

Insbesondere:

$Cov(X^{*},Y^{*})=\rho (X^{*},Y^{*})=\rho (X,Y)$

für $X^{*}=(X-E(X))/\sigma (X)$, $Y^{*}=(Y-E(Y))/\sigma (Y).$

b) $Cov(X,Y)=Cov(Y,X),Cov(X,X)=Var(X)$

Eigenschaften der Varianz und Kovarianz (2)

c) $Var(X_{1}+...+X_{n})=\sum _{i=1}^{n}Var(X_{i})+\sum _{i\neq j}Cov(X_{i},X_{j})$

Insbesondere gilt für paarweise unkorrelierte (d.h. $Cov(X_{i},X_{j})=0$, für $i\neq j$) $X_{1},...,X_{n}$ die "Formel von Bienaymé":

$Var(X_{1}+...+X_{n})=\sum _{i=1}^{n}Var(X_{i})$

d) $X,Y$ unabhängig $\Rightarrow X,Y$ unkorreliert.

Beweis

Zu c): Wegen der letzten Formel im Abschnitt "Formeln zur Varianz von X" und a) können wir annehmen, dass $E(X_{i})=0$. Dann gilt:

$Var(X_{1}+...X_{n})=E(X_{1}+...+X_{n})^{2}=E(\sum _{i=1}^{n}X_{i}^{2}+\sum _{i\neq j}X_{i}\cdot X_{j})$

$=\sum _{i=1}^{n}E(X_{i}^{2})+\sum _{i\neq j}E(X_{i}\cdot X_{j})$

Zu d): $X,Y$ unabhängig $\Rightarrow E(X\cdot Y)=E(X)\cdot E(Y)\Rightarrow Cov(X,Y)=0$ (Verschiebungsformel).

Aufgaben für Studierende

Teil 1: Kovarianz ungleich null

Gegeben sind zwei Zufallsgrößen ${\textstyle X}$ und ${\textstyle Y}$, die gemeinsam verteilt sind. Die gemeinsame Wahrscheinlichkeitsverteilung ist durch die folgende Tabelle gegeben:

${\textstyle X\backslash Y}$	0	1	2
0	0.1	0.2	0.1
1	0.1	0.3	0.2

Die Verteilung von ${\textstyle X}$ und ${\textstyle Y}$ erhält man durch Summieren der einzelnen Spalten oder Zeilen.Dies wird auch als Randverteilung einer gemeinsamen Verteilung bezeichnet. Also beispielsweise: $$P(X=0)=P(X=0,Y=0)+P(X=0,Y=1)+P(X=0,Y=2)=0.1+0.2+0.1=0.4$$

1. Bestimme die Randverteilungen von ${\textstyle X}$ und ${\textstyle Y}$.
2. Berechne die Erwartungswerte ${\textstyle E[X]}$ und ${\textstyle E[Y]}$.
3. Berechne die Kovarianz ${\textstyle \mathrm {Cov} (X,Y)=E[XY]-E[X]E[Y]}$.
4. Interpretiere das Ergebnis: Ist ${\textstyle \mathrm {Cov} (X,Y)\neq 0}$? Was bedeutet das für die Abhängigkeit von ${\textstyle X}$ und ${\textstyle Y}$?

Teil 2: Unabhängige Zufallsgrößen mit ${\textstyle \mathrm {Cov} (X,Y)=0}$

Betrachte nun zwei neue Zufallsgrößen ${\textstyle U}$ und ${\textstyle V}$, die unabhängig sind. Ihre gemeinsame Verteilung sei gegeben durch:

• ${\textstyle U}$ nimmt die Werte ${\textstyle -1}$ und ${\textstyle 1}$ mit jeweils Wahrscheinlichkeit ${\textstyle 0.5}$.
• ${\textstyle V}$ nimmt die Werte ${\textstyle -1}$ und ${\textstyle 1}$ mit jeweils Wahrscheinlichkeit ${\textstyle 0.5}$.
• ${\textstyle U}$ und ${\textstyle V}$ sind unabhängig.

1. Erstelle eine Tabelle der gemeinsamen Verteilung ${\textstyle P(X=x,Y=y)}$.
2. Zeige, dass ${\textstyle \mathrm {Cov} (U,V)=0}$.
3. Beweise, dass bei Unabhängigkeit von X,Y folgende Beziehung gilt: ${\textstyle E(X\cdot Y))=E(X)\cdot E(Y)}$. Folgere daraus ${\textstyle \mathrm {Cov} (U,V)=0}$.

Teil 3: Nicht unabhängige Zufallsgrößen mit ${\textstyle \mathrm {Cov} (A,B)=0}$

Gegeben sei eine Zufallsgröße ${\textstyle X}$, die gleichverteilt auf den Werten ${\textstyle -1}$, ${\textstyle 0}$ und ${\textstyle 1}$ ist: ${\textstyle \mathbb {P} (X=-1)=\mathbb {P} (X=0)=\mathbb {P} (X=1)={\frac {1}{3}}.}$ Definiere eine neue Zufallsgröße ${\textstyle Y=X^{2}}$.

1. Bestimme die gemeinsame Verteilung von ${\textstyle X}$ und ${\textstyle Y}$ in Form einer Tabelle. Gib auch die Randverteilung von ${\textstyle Y}$ an.
2. Berechne die Erwartungswerte: ${\textstyle E[X],\quad E[Y],\quad E[XY].}$
3. Berechne die Kovarianz: ${\textstyle \mathrm {Cov} (X,Y)=E[XY]-E[X]E[Y].}$ Was kannst du über die lineare Abhängigkeit von ${\textstyle X}$ und ${\textstyle Y}$ sagen?
4. Prüfe, ob ${\textstyle X}$ und ${\textstyle Y}$ unabhängig sind. Vergleiche dazu: ${\textstyle \mathbb {P} (X=1,Y=1)\quad {\text{und}}\quad \mathbb {P} (X=1)\cdot \mathbb {P} (Y=1).}$ Begründe, warum die Unabhängigkeit nicht vorliegt.
5. Erkläre, warum die Kovarianz null ist, obwohl eine klare Abhängigkeit zwischen ${\textstyle X}$ und ${\textstyle Y}$ besteht. Welche Art von Abhängigkeit wird von der Kovarianz nicht erfasst?

Siehe auch

• Momente
• Varianz
• Cauchy-Schwarz-Ungleichung

Seiteninformation

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Stochastik' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Stochastik/Kovarianz
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.