X
,
Y
{\displaystyle X,Y}
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},P)}
X
{\displaystyle X}
Y
{\displaystyle Y}
X
{\displaystyle X}
Y
{\displaystyle Y}
Gesucht ist die Funktion
g
:
R
→
R
{\displaystyle g:\mathbb {R} \to \mathbb {R} }
E
(
Y
−
g
(
X
)
)
2
=
inf
f
:
R
→
R
E
(
Y
−
f
(
X
)
)
2
.
{\displaystyle \mathbb {E} (Y-g(X))^{2}=\inf _{f:\mathbb {R} \to \mathbb {R} }\mathbb {E} (Y-f(X))^{2}.}
Zunächst wollen wir das Problem theoretisch untersuchen. Dies führt auf die Notwendigkeit, bedingte Verteilungen und bedingte Erwartungswerte zu betrachten (Kapitel 2.2 und 2.5). Danach behandeln wir die praktische Lösung des Problems (Kapitel 2.4).
Im folgenden setzen wir - ohne dies speziell zu erwähnen - stets die Existenz aller auftauchenden Erwartungswerte voraus.
Es sei
(
X
,
Y
)
{\displaystyle (X,Y)}
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},P)}
X
(
Ω
)
=
{
x
1
,
x
2
,
…
}
{\displaystyle X(\Omega )=\{x_{1},x_{2},\ldots \}}
Y
(
Ω
)
=
{
y
1
,
y
2
,
…
}
{\displaystyle Y(\Omega )=\{y_{1},y_{2},\ldots \}}
(2.1)
p
k
m
=
P
(
X
=
x
k
,
Y
=
y
m
)
,
{\displaystyle p_{km}=P(X=x_{k},Y=y_{m}),}
(2.2)
p
k
⋅
=
∑
m
p
k
m
=
P
(
X
=
x
k
)
,
{\displaystyle p_{k\cdot }=\sum _{m}p_{km}=P(X=x_{k}),}
(2.3)
p
⋅
m
=
∑
k
p
k
m
=
P
(
Y
=
y
m
)
.
{\displaystyle p_{\cdot m}=\sum _{k}p_{km}=P(Y=y_{m}).}
Für
y
m
∈
Y
(
Ω
)
{\displaystyle y_{m}\in Y(\Omega )}
X
|
Y
=
y
m
{\displaystyle X|Y=y_{m}}
(
X
|
Y
=
y
m
)
(
Ω
)
=
X
(
Ω
)
{\displaystyle (X|Y=y_{m})(\Omega )=X(\Omega )}
P
(
(
X
|
Y
=
y
m
)
=
x
k
)
=
P
(
X
=
x
k
|
Y
=
y
m
)
=
p
k
m
p
⋅
m
(
x
k
∈
X
(
Ω
)
)
.
{\displaystyle P((X|Y=y_{m})=x_{k})=P(X=x_{k}|Y=y_{m})={\frac {p_{km}}{p_{\cdot m}}}\quad (x_{k}\in X(\Omega )).}
Der Erwartungswert
E
(
X
|
Y
=
y
m
)
{\displaystyle \mathbb {E} (X|Y=y_{m})}
X
|
Y
=
y
m
{\displaystyle X|Y=y_{m}}
bedingter Erwartungswert von
X
{\displaystyle X}
Y
=
y
m
{\displaystyle Y=y_{m}}
. Die Funktion
Ψ
:
Y
(
Ω
)
⟹
R
,
Ψ
(
y
)
:=
E
(
X
|
Y
=
y
)
{\displaystyle \Psi :Y(\Omega )\Longrightarrow \mathbb {R} ,\Psi (y):=\mathbb {E} (X|Y=y)}
bedingte Erwartungswertfunktion von
X
|
Y
{\displaystyle X|Y}
Für
y
m
∈
Y
(
Ω
)
{\displaystyle y_{m}\in Y(\Omega )}
E
(
X
|
Y
=
y
m
)
=
∑
k
x
k
⋅
P
(
X
=
x
k
|
Y
=
y
m
)
=
∑
k
x
k
⋅
p
k
m
p
⋅
m
.
{\displaystyle \mathbb {E} (X|Y=y_{m})=\sum _{k}x_{k}\cdot P(X=x_{k}|Y=y_{m})=\sum _{k}x_{k}\cdot {\frac {p_{km}}{p_{\cdot m}}}.}
Völlig analog führt man die Zufallsgröße
Y
|
X
=
x
k
{\displaystyle Y|X=x_{k}}
Für
x
k
∈
X
(
Ω
)
{\displaystyle x_{k}\in X(\Omega )}
Y
|
X
=
x
k
{\displaystyle Y|X=x_{k}}
(
Y
|
X
=
x
k
)
(
Ω
)
=
Y
(
Ω
)
{\displaystyle (Y|X=x_{k})(\Omega )=Y(\Omega )}
P
(
(
Y
|
X
=
x
k
)
=
y
m
)
=
P
(
Y
=
y
m
|
X
=
x
k
)
=
p
k
m
p
k
⋅
(
y
m
∈
Y
(
Ω
)
)
.
{\displaystyle P((Y|X=x_{k})=y_{m})=P(Y=y_{m}|X=x_{k})={\frac {p_{km}}{p_{k\cdot }}}\quad (y_{m}\in Y(\Omega )).}
Der Erwartungswert
E
(
Y
|
X
=
x
k
)
{\displaystyle \mathbb {E} (Y|X=x_{k})}
Y
|
X
=
x
k
{\displaystyle Y|X=x_{k}}
bedingter Erwartungswert von
Y
{\displaystyle Y}
X
=
x
k
{\displaystyle X=x_{k}}
. Die Funktion
Φ
:
X
(
Ω
)
⟹
R
,
Φ
(
x
)
:=
E
(
Y
|
X
=
x
)
{\displaystyle \Phi :X(\Omega )\Longrightarrow \mathbb {R} ,\Phi (x):=\mathbb {E} (Y|X=x)}
bedingte Erwartungswertfunktion von
Y
|
X
{\displaystyle Y|X}
Für den bedingten Erwartungswert
E
(
Y
|
X
=
x
k
)
{\displaystyle \mathbb {E} (Y|X=x_{k})}
E
(
Y
|
X
=
x
k
)
=
∑
k
y
m
⋅
P
(
Y
=
y
m
|
X
=
x
k
)
=
∑
k
y
m
⋅
p
k
m
p
k
⋅
.
{\displaystyle \mathbb {E} (Y|X=x_{k})=\sum _{k}y_{m}\cdot P(Y=y_{m}|X=x_{k})=\sum _{k}y_{m}\cdot {\frac {p_{km}}{p_{k\cdot }}}.}
Es wird stets vorausgesetzt
p
k
⋅
>
0
,
p
⋅
m
>
0
{\displaystyle p_{k\cdot }>0,p_{\cdot m}>0}
p
k
m
=
0
{\displaystyle p_{km}=0}
k
{\displaystyle k}
m
{\displaystyle m}
P
(
(
Y
|
X
=
x
k
)
=
y
m
)
=
0
=
P
(
(
X
|
Y
=
y
m
)
=
x
k
)
{\displaystyle P((Y|X=x_{k})=ym)=0=P((X|Y=y_{m})=x_{k})}
Der bedingte Erwartungswert
Φ
(
x
k
)
=
E
(
Y
|
X
=
x
k
)
{\displaystyle \Phi (x_{k})=\mathbb {E} (Y|X=x_{k})}
E
Y
{\displaystyle \mathbb {E} Y}
Φ
(
X
)
=
E
(
Y
|
X
)
{\displaystyle \Phi (X)=\mathbb {E} (Y|X)}
p
k
⋅
{\displaystyle p_{k\cdot }}
E
(
Y
|
X
=
x
k
)
{\displaystyle \mathbb {E} (Y|X=x_{k})}
Φ
(
X
)
{\displaystyle \Phi (X)}
Y
{\displaystyle Y}
Ψ
(
y
m
)
=
E
(
X
|
Y
=
y
m
)
{\displaystyle \Psi (y_{m})=\mathbb {E} (X|Y=y_{m})}
E
X
{\displaystyle \mathbb {E} X}
Ψ
(
Y
)
=
E
(
X
|
Y
)
{\displaystyle \Psi (Y)=\mathbb {E} (X|Y)}
p
⋅
m
{\displaystyle p_{\cdot m}}
E
(
X
|
Y
=
y
m
)
{\displaystyle \mathbb {E} (X|Y=y_{m})}
E
Ψ
(
Y
)
=
E
X
{\displaystyle \mathbb {E} \Psi (Y)=\mathbb {E} X}
(2.4)
E
(
E
(
Y
|
X
)
=
E
Y
,
E
(
E
(
X
|
Y
)
=
E
X
.
{\displaystyle \mathbb {E} (\mathbb {E} (Y|X)=\mathbb {E} Y,\quad \mathbb {E} (\mathbb {E} (X|Y)=\mathbb {E} X.}
E
(
E
(
X
|
Y
)
)
=
∑
l
E
(
X
|
Y
=
y
l
)
⋅
p
⋅
l
=
∑
l
∑
k
x
k
p
k
l
p
⋅
l
p
⋅
l
=
∑
k
x
k
∑
l
p
k
l
=
∑
k
x
k
p
k
⋅
=
E
X
,
{\displaystyle \mathbb {E} (\mathbb {E} (X|Y))=\sum _{l}\mathbb {E} (X|Y=y_{l})\cdot p_{\cdot l}=\sum _{l}\sum _{k}x_{k}{\frac {p_{kl}}{p_{\cdot l}}}p_{\cdot l}=\sum _{k}x_{k}\sum _{l}p_{kl}=\sum _{k}x_{k}p_{k\cdot }=\mathbb {E} X,}
E
(
E
(
Y
|
X
)
)
=
∑
k
E
(
Y
|
X
=
x
k
)
⋅
p
k
⋅
=
∑
k
∑
l
y
l
p
k
l
p
k
⋅
p
k
⋅
=
∑
l
y
l
∑
k
p
k
l
=
∑
l
y
l
p
⋅
l
=
E
Y
.
{\displaystyle \mathbb {E} (\mathbb {E} (Y|X))=\sum _{k}\mathbb {E} (Y|X=x_{k})\cdot p_{k\cdot }=\sum _{k}\sum _{l}y_{l}{\frac {p_{kl}}{p_{k\cdot }}}p_{k\cdot }=\sum _{l}y_{l}\sum _{k}p_{kl}=\sum _{l}y_{l}p_{\cdot l}=\mathbb {E} Y.}
q.e.d.
Die bedingten Erwartungswertfunktionen lösen die anfangs skizzierte Aufgabenstellung.
Seien
X
,
Y
{\displaystyle X,Y}
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},P)}
Ψ
:
Y
(
Ω
)
→
R
,
Ψ
(
y
)
:=
E
(
X
|
Y
=
y
)
{\displaystyle \Psi :Y(\Omega )\to \mathbb {R} ,\quad \Psi (y):=\mathbb {E} (X|Y=y)}
sowie
Φ
:
X
(
Ω
)
⇒
R
,
Φ
(
x
)
:=
E
(
Y
|
X
=
x
)
{\displaystyle \Phi :X(\Omega )\Rightarrow \mathbb {R} ,\quad \Phi (x):=\mathbb {E} (Y|X=x)}
gelten die Beziehungen
E
(
Y
−
Φ
(
X
)
)
2
=
inf
g
:
R
→
R
E
(
Y
−
g
(
X
)
)
2
,
{\displaystyle \mathbb {E} (Y-\Phi (X))^{2}=\inf _{g:\mathbb {R} \to \mathbb {R} }\mathbb {E} (Y-g(X))^{2},}
E
(
X
−
Ψ
(
Y
)
)
2
=
inf
g
:
R
→
R
E
(
X
−
g
(
Y
)
)
2
.
{\displaystyle \mathbb {E} (X-\Psi (Y))^{2}=\inf _{g:\mathbb {R} \to \mathbb {R} }\mathbb {E} (X-g(Y))^{2}.}
Für eine beliebige Funktion
g
:
R
→
R
{\displaystyle g:\mathbb {R} \to \mathbb {R} }
(2.5)
E
(
Y
−
g
(
X
)
)
2
=
E
(
Y
−
Φ
(
X
)
+
Φ
(
X
)
−
g
(
X
)
)
2
{\displaystyle \mathbb {E} (Y-g(X))^{2}=\mathbb {E} (Y-\Phi (X)+\Phi (X)-g(X))^{2}}
(2.6)
=
E
(
Y
−
Φ
(
X
)
)
2
+
E
(
Φ
(
X
)
−
g
(
X
)
)
2
+
2
E
(
Y
−
Φ
(
X
)
)
(
Φ
(
X
)
−
g
(
X
)
)
.
{\displaystyle =\mathbb {E} (Y-\Phi (X))^{2}+\mathbb {E} (\Phi (X)-g(X))^{2}+2\mathbb {E} (Y-\Phi (X))(\Phi (X)-g(X)).}
Der letzte Summand ist aber gleich Null, denn
(2.7)
E
(
Y
−
Φ
(
X
)
)
(
Φ
(
X
)
−
g
(
X
)
)
{\displaystyle \mathbb {E} (Y-\Phi (X))(\Phi (X)-g(X))}
(2.8)
=
∑
l
∑
k
(
y
l
−
Φ
(
x
k
)
)
(
Φ
(
x
k
)
−
g
(
x
k
)
)
p
k
l
p
k
⋅
⋅
p
k
⋅
{\displaystyle =\sum _{l}\sum _{k}(y_{l}-\Phi (x_{k}))(\Phi (x_{k})-g(x_{k})){\frac {p_{kl}}{p_{k\cdot }}}\cdot p_{k\cdot }}
(2.9)
=
∑
k
[
(
Φ
(
x
k
)
−
g
(
x
k
)
)
(
∑
l
y
l
p
k
l
p
k
⋅
−
Φ
(
x
k
)
∑
l
p
k
l
p
k
⋅
)
]
p
k
⋅
{\displaystyle =\sum _{k}\left[(\Phi (x_{k})-g(x_{k}))\left(\sum _{l}y_{l}{\frac {p_{kl}}{p_{k\cdot }}}-\Phi (x_{k})\sum _{l}{\frac {p_{kl}}{p_{k\cdot }}}\right)\right]p_{k\cdot }}
(2.10)
=
∑
k
[
(
Φ
(
x
k
)
−
g
(
x
k
)
)
(
Φ
(
x
k
)
−
Φ
(
x
k
)
p
k
⋅
p
k
⋅
)
]
p
k
⋅
=
0.
{\displaystyle =\sum _{k}\left[(\Phi (x_{k})-g(x_{k}))\left(\Phi (x_{k})-\Phi (x_{k}){\frac {p_{k\cdot }}{p_{k\cdot }}}\right)\right]p_{k\cdot }=0.}
Der Ausdruck
E
(
Y
−
g
(
X
)
)
2
≥
0
{\displaystyle \mathbb {E} (Y-g(X))^{2}\geq 0}
g
(
x
)
=
Φ
(
x
)
{\displaystyle g(x)=\Phi (x)}
R
∖
X
(
Ω
)
{\displaystyle \mathbb {R} \setminus X(\Omega )}
g
{\displaystyle g}
E
(
X
−
g
(
Y
)
)
2
{\displaystyle \mathbb {E} (X-g(Y))^{2}}
g
(
y
)
=
Ψ
(
y
)
=
E
(
X
|
Y
=
y
)
{\displaystyle g(y)=\Psi (y)=\mathbb {E} (X|Y=y)}
q.e.d.
Die Funktion
Ψ
:
Y
(
Ω
)
→
R
,
Ψ
(
y
)
=
E
(
X
|
Y
=
y
)
{\displaystyle \Psi :Y(\Omega )\to \mathbb {R} ,\Psi (y)=\mathbb {E} (X|Y=y)}
Regressionsfunktion erster Art von
X
{\displaystyle X}
Y
{\displaystyle Y}
. Analog nennt man
Φ
:
X
(
Ω
)
→
R
,
Φ
(
x
)
=
E
(
Y
|
X
=
x
)
{\displaystyle \Phi :X(\Omega )\to \mathbb {R} ,\Phi (x)=\mathbb {E} (Y|X=x)}
Regressionsfunktion erster Art von
Y
{\displaystyle Y}
X
{\displaystyle X}
. Seien
X
,
Y
{\displaystyle X,Y}
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},P)}
f
{\displaystyle f}
f
:
R
2
→
[
0
,
∞
)
{\displaystyle f:\mathbb {R} ^{2}\to [0,\infty )}
P
(
X
∈
[
a
1
,
a
2
)
,
Y
∈
[
b
1
,
b
2
)
)
=
∫
a
1
a
2
∫
b
1
b
2
f
(
x
,
y
)
d
y
d
x
(
a
1
<
a
2
,
b
1
<
b
2
)
.
{\displaystyle P(X\in [a_{1},a_{2}),Y\in [b_{1},b_{2}))=\int \limits _{a_{1}}^{a_{2}}\int \limits _{b_{1}}^{b_{2}}f(x,y)\,dydx\quad (a_{1}<a_{2},b_{1}<b_{2}).}
Die entsprechenden Randverteilungen von
X
{\displaystyle X}
Y
{\displaystyle Y}
f
{\displaystyle f}
(2.11)
f
X
(
x
)
=
∫
R
f
(
x
,
y
)
d
y
(
x
∈
R
)
,
{\displaystyle f_{X}(x)=\int \limits _{\mathbb {R} }f(x,y)\,dy\quad (x\in \mathbb {R} ),}
(2.12)
f
Y
(
y
)
=
∫
R
f
(
x
,
y
)
d
x
(
y
∈
R
)
.
{\displaystyle f_{Y}(y)=\int \limits _{\mathbb {R} }f(x,y)\,dx\quad (y\in \mathbb {R} ).}
Wie in Kapitel 2.2 wollen wir auch in diesem Fall bedingte Verteilungen, bedingte Erwartungswerte und die entsprechenden Erwartungswertfunktionen bilden. Da aber für alle
y
∈
R
{\displaystyle y\in \mathbb {R} }
P
(
Y
=
y
)
=
0
{\displaystyle P(Y=y)=0}
P
(
X
∈
A
|
Y
=
y
)
{\displaystyle P(X\in A|Y=y)}
lim
h
↓
0
P
(
X
∈
A
|
Y
∈
(
y
,
y
+
h
)
)
{\displaystyle \lim _{h\downarrow 0}P(X\in A|Y\in (y,y+h))}
existiert. Diese Verteilung kann dann als Verteilung der Zufallsgröße
X
|
Y
=
y
{\displaystyle X|Y=y}
Wir nehmen an, dass
f
Y
{\displaystyle f_{Y}}
y
{\displaystyle y}
f
Y
(
y
)
>
0
{\displaystyle f_{Y}(y)>0}
f
Y
{\displaystyle f_{Y}}
y
{\displaystyle y}
h
>
0
{\displaystyle h>0}
f
Y
(
u
)
>
0
{\displaystyle f_{Y}(u)>0}
u
∈
[
y
,
y
+
h
]
{\displaystyle u\in [y,y+h]}
P
(
Y
∈
[
y
,
y
+
h
]
)
>
0
{\displaystyle P(Y\in [y,y+h])>0}
A
∈
R
{\displaystyle A\in \mathbb {R} }
(2.13)
P
(
X
∈
A
|
Y
∈
[
y
,
y
+
h
)
)
=
P
(
x
∈
A
,
Y
∈
[
y
,
y
+
h
)
)
P
(
Y
∈
[
y
,
y
+
h
)
)
{\displaystyle P(X\in A|Y\in [y,y+h))={\frac {P(x\in A,Y\in [y,y+h))}{P(Y\in [y,y+h))}}}
(2.14)
=
∫
A
∫
y
y
+
h
f
(
u
,
v
)
d
u
d
v
∫
y
y
+
h
f
Y
(
v
)
d
v
=
∫
A
1
h
∫
y
y
+
h
f
(
u
,
v
)
d
u
d
v
1
h
∫
y
y
+
h
f
Y
(
v
)
d
v
{\displaystyle ={\frac {\int \limits _{A}\int \limits _{y}^{y+h}f(u,v)\,dudv}{\int \limits _{y}^{y+h}f_{Y}(v)\,dv}}={\frac {\int \limits _{A}{\frac {1}{h}}\int \limits _{y}^{y+h}f(u,v)\,dudv}{{\frac {1}{h}}\int \limits _{y}^{y+h}f_{Y}(v)\,dv}}}
Dadurch erhalten wir
(2.15)
lim
h
↓
0
P
(
X
∈
A
|
Y
∈
[
y
,
y
+
h
)
)
=
∫
A
[
lim
h
↓
0
1
h
∫
y
y
+
h
f
(
u
,
v
)
d
v
]
d
u
lim
h
↓
0
1
h
∫
y
y
+
h
f
Y
(
v
)
d
v
{\displaystyle \lim _{h\downarrow 0}P(X\in A|Y\in [y,y+h))={\frac {\int \limits _{A}\left[\lim \limits _{h\downarrow 0}{\frac {1}{h}}\int \limits _{y}^{y+h}f(u,v)\,dv\right]\,du}{\lim \limits _{h\downarrow 0}{\frac {1}{h}}\int \limits _{y}^{y+h}f_{Y}(v)\,dv}}}
(2.16)
=
∫
A
f
(
u
,
y
)
d
u
f
Y
(
y
)
.
{\displaystyle ={\frac {\int \limits _{A}f(u,y)\,du}{f_{Y}(y)}}.}
Für alle
y
{\displaystyle y}
f
Y
(
y
)
>
0
{\displaystyle f_{Y}(y)>0}
g
:
R
→
R
{\displaystyle g:\mathbb {R} \to \mathbb {R} }
g
(
x
)
:=
f
(
x
,
y
)
/
f
Y
(
y
)
{\displaystyle g(x):=f(x,y)/f_{Y}(y)}
g
{\displaystyle g}
∫
R
g
(
x
)
d
x
=
∫
R
f
(
x
,
y
)
f
Y
(
y
)
d
x
=
f
Y
(
y
)
f
Y
(
y
)
=
1.
{\displaystyle \int \limits _{\mathbb {R} }g(x)\,dx=\int \limits _{\mathbb {R} }{\frac {f(x,y)}{f_{Y}(y)}}\,dx={\frac {f_{Y}(y)}{f_{Y}(y)}}=1.}
Für
y
{\displaystyle y}
f
Y
(
y
)
>
0
{\displaystyle f_{Y}(y)>0}
X
|
Y
=
y
{\displaystyle X|Y=y}
f
(
x
,
y
)
/
f
Y
(
y
)
{\displaystyle f(x,y)/f_{Y}(y)}
X
|
Y
=
y
{\displaystyle X|Y=y}
bedingte zufällige Größe von
X
{\displaystyle X}
Y
=
y
{\displaystyle Y=y}
.
E
(
X
|
Y
=
y
)
{\displaystyle \mathbb {E} (X|Y=y)}
bedingter Erwartungswert von
X
{\displaystyle X}
Y
=
y
{\displaystyle Y=y}
. Für alle
y
∈
R
{\displaystyle y\in \mathbb {R} }
f
Y
(
y
)
>
0
{\displaystyle f_{Y}(y)>0}
E
(
X
|
Y
=
y
)
=
∫
R
x
f
(
x
,
y
)
f
Y
(
y
)
d
x
.
{\displaystyle \mathbb {E} (X|Y=y)=\int \limits _{\mathbb {R} }x{\frac {f(x,y)}{f_{Y}(y)}}\,dx.}
Analog erhalten wir für
x
∈
R
{\displaystyle x\in \mathbb {R} }
f
X
(
x
)
>
0
{\displaystyle f_{X}(x)>0}
E
(
Y
|
X
=
x
)
=
∫
R
y
f
(
x
,
y
)
f
X
(
x
)
d
y
.
{\displaystyle \mathbb {E} (Y|X=x)=\int \limits _{\mathbb {R} }y{\frac {f(x,y)}{f_{X}(x)}}\,dy.}
Für stetige Zufallsgrößen gilt genau wie für diskrete, dass die bedingten Erwartungswerte die (theoretische) Lösung des Regressionsproblems darstellen (siehe Theorem 2.2).
Seien
X
,
Y
{\displaystyle X,Y}
(
Ω
,
F
,
P
)
{\displaystyle (\Omega ,{\mathcal {F}},P)}
Ψ
:
R
→
R
,
Ψ
(
y
)
:=
{
E
(
X
|
Y
=
y
)
,
f
u
¨
r
y
∈
R
m
i
t
f
Y
(
y
)
>
0
,
0
s
o
n
s
t
{\displaystyle \Psi :\mathbb {R} \to \mathbb {R} ,\quad \Psi (y):={\begin{cases}\mathbb {E} (X|Y=y),&f{\ddot {u}}r\ y\in \mathbb {R} \ mit\ f_{Y}(y)>0,\\0&sonst\end{cases}}}
sowie
Φ
:
R
⇒
R
,
Φ
(
x
)
:=
{
E
(
Y
|
X
=
x
)
,
f
u
¨
r
x
∈
R
m
i
t
f
X
(
x
)
>
0
,
0
,
s
o
n
s
t
.
{\displaystyle \Phi :\mathbb {R} \Rightarrow \mathbb {R} ,\quad \Phi (x):={\begin{cases}\mathbb {E} (Y|X=x),&f{\ddot {u}}r\ x\in \mathbb {R} \ mit\ f_{X}(x)>0,\\0,&sonst.\end{cases}}}
Es gilt
E
(
Y
−
Φ
(
X
)
)
2
=
inf
g
:
R
→
R
E
(
Y
−
g
(
X
)
)
2
,
{\displaystyle \mathbb {E} (Y-\Phi (X))^{2}=\inf _{g:\mathbb {R} \to \mathbb {R} }\mathbb {E} (Y-g(X))^{2},}
E
(
X
−
Ψ
(
Y
)
)
2
=
inf
g
:
R
→
R
E
(
X
−
g
(
Y
)
)
2
.
{\displaystyle \mathbb {E} (X-\Psi (Y))^{2}=\inf _{g:\mathbb {R} \to \mathbb {R} }\mathbb {E} (X-g(Y))^{2}.}
Wie im diskreten Fall erhält man für eine beliebige messbare Funktion
g
:
R
→
R
{\displaystyle g:\mathbb {R} \to \mathbb {R} }
(2.17)
E
(
Y
−
g
(
X
)
)
2
=
E
(
Y
−
Φ
(
X
)
+
Φ
(
X
)
−
g
(
X
)
)
2
{\displaystyle \mathbb {E} (Y-g(X))^{2}=\mathbb {E} (Y-\Phi (X)+\Phi (X)-g(X))^{2}}
(2.18)
=
E
(
Y
−
Φ
(
X
)
)
2
+
E
(
Φ
(
X
)
−
g
(
X
)
)
2
+
2
E
(
Y
−
Φ
(
X
)
)
(
Φ
(
X
)
−
g
(
X
)
)
.
{\displaystyle =\mathbb {E} (Y-\Phi (X))^{2}+\mathbb {E} (\Phi (X)-g(X))^{2}+2\mathbb {E} (Y-\Phi (X))(\Phi (X)-g(X)).}
Analog zum Beweis von Theorem 2.2 zeigen wir, dass der letzte Summand verschwindet
(2.19)
E
(
Y
−
Φ
(
X
)
)
(
Φ
(
X
)
−
g
(
X
)
)
=
∫
R
∫
R
(
y
−
Φ
(
x
)
)
(
Φ
(
x
)
−
g
(
x
)
)
f
(
x
,
y
)
f
X
(
x
)
⋅
f
X
(
x
)
d
x
d
y
{\displaystyle \mathbb {E} (Y-\Phi (X))(\Phi (X)-g(X))=\int \limits _{\mathbb {R} }\int \limits _{\mathbb {R} }(y-\Phi (x))(\Phi (x)-g(x)){\frac {f(x,y)}{f_{X}(x)}}\cdot f_{X}(x)\,dxdy}
(2.20)
=
∫
R
[
(
Φ
(
x
)
−
g
(
x
)
)
(
∫
R
y
f
(
x
,
y
)
f
X
(
x
)
d
y
−
Φ
(
x
)
∫
R
f
(
x
,
y
)
f
X
(
x
)
d
y
)
]
f
X
(
x
)
d
x
{\displaystyle =\int \limits _{\mathbb {R} }\left[(\Phi (x)-g(x))\left(\int \limits _{\mathbb {R} }y{\frac {f(x,y)}{f_{X}(x)}}\,dy-\Phi (x)\int \limits _{\mathbb {R} }{\frac {f(x,y)}{f_{X}(x)}}\,dy\right)\right]f_{X}(x)\,dx}
(2.21)
=
∫
R
[
(
Φ
(
x
)
−
g
(
x
)
)
(
Φ
(
x
)
−
Φ
(
x
)
f
X
(
x
)
f
X
(
x
)
)
]
f
X
(
x
)
d
x
=
0.
{\displaystyle =\int \limits _{\mathbb {R} }\left[(\Phi (x)-g(x))\left(\Phi (x)-\Phi (x){\frac {f_{X}(x)}{f_{X}(x)}}\right)\right]f_{X}(x)\,dx=0.}
Der Ausdruck
E
(
Y
−
g
(
X
)
)
2
≥
0
{\displaystyle \mathbb {E} (Y-g(X))^{2}\geq 0}
g
(
x
)
=
Φ
(
x
)
{\displaystyle g(x)=\Phi (x)}
{
x
∈
R
:
f
X
(
x
)
=
0
}
{\displaystyle \{x\in \mathbb {R} :f_{X}(x)=0\}}
g
{\displaystyle g}
E
(
X
−
g
(
Y
)
)
2
{\displaystyle \mathbb {E} (X-g(Y))^{2}}
g
(
y
)
=
Ψ
(
y
)
=
E
(
X
|
Y
=
y
)
{\displaystyle g(y)=\Psi (y)=\mathbb {E} (X|Y=y)}
q.e.d.
Sei
(
X
,
Y
)
{\displaystyle (X,Y)}
X
≥
0
,
Y
≥
0
{\displaystyle X\geq 0,Y\geq 0}
f
(
x
,
y
)
=
a
p
Γ
(
p
)
⋅
y
p
e
−
(
a
+
x
)
y
(
x
≥
0
,
y
≥
0
)
,
{\displaystyle f(x,y)={\frac {a^{p}}{\Gamma (p)}}\cdot y^{p}e^{-(a+x)y}\quad (x\geq 0,y\geq 0),}
wobei
a
>
0
,
p
>
0
{\displaystyle a>0,p>0}
Ψ
(
y
)
=
E
(
X
|
Y
=
y
)
{\displaystyle \Psi (y)=\mathbb {E} (X|Y=y)}
Lösung: Für
y
>
0
{\displaystyle y>0}
f
Y
(
y
)
=
∫
0
∞
a
p
Γ
(
p
)
⋅
y
p
e
−
(
a
+
x
)
y
d
x
=
a
p
Γ
(
p
)
⋅
y
p
−
1
e
−
a
y
,
{\displaystyle f_{Y}(y)=\int \limits _{0}^{\infty }{\frac {a^{p}}{\Gamma (p)}}\cdot y^{p}e^{-(a+x)y}\,dx={\frac {a^{p}}{\Gamma (p)}}\cdot y^{p-1}e^{-ay},}
d. h.
Y
∼
Gam
(
a
,
p
)
{\displaystyle Y\sim \operatorname {Gam} (a,p)}
x
≥
0
,
y
>
0
{\displaystyle x\geq 0,y>0}
X
|
Y
=
y
{\displaystyle X|Y=y}
f
X
|
Y
=
y
(
x
)
=
y
⋅
e
−
y
x
{\displaystyle f_{X|Y=y}(x)=y\cdot e^{-yx}}
X
|
Y
=
y
∼
Exp
(
y
)
{\displaystyle X|Y=y\sim \operatorname {Exp} (y)}
Ψ
(
y
)
=
E
(
X
|
Y
=
y
)
=
1
y
(
y
>
0
)
.
{\displaystyle \Psi (y)=\mathbb {E} (X|Y=y)={\frac {1}{y}}\quad (y>0).}
Es sei erwähnt, dass für
x
≥
0
{\displaystyle x\geq 0}
f
X
(
x
)
=
∫
0
∞
a
p
Γ
(
p
)
⋅
y
p
e
−
(
a
+
x
)
y
d
y
=
p
⋅
a
p
(
a
+
x
)
p
+
1
.
{\displaystyle f_{X}(x)=\int \limits _{0}^{\infty }{\frac {a^{p}}{\Gamma (p)}}\cdot y^{p}e^{-(a+x)y}\,dy={\frac {p\cdot a^{p}}{(a+x)^{p+1}}}.}
Die Zufallsgröße
X
{\displaystyle X}
Pareto -Verteilung, also
f
X
(
x
)
=
p
⋅
a
p
(
a
+
x
)
p
+
1
(
x
≥
0
)
.
{\displaystyle f_{X}(x)={\frac {p\cdot a^{p}}{(a+x)^{p+1}}}\quad (x\geq 0).}
(
X
,
Y
)
{\displaystyle (X,Y)}
f
(
x
,
y
)
=
1
2
π
exp
{
−
x
2
−
2
x
y
+
2
y
2
2
}
(
(
x
,
y
)
∈
R
2
)
.
{\displaystyle f(x,y)={\frac {1}{2\pi }}\exp \left\{-{\frac {x^{2}-2xy+2y^{2}}{2}}\right\}\quad ((x,y)\in \mathbb {R} ^{2}).}
Berechne die Regressionsfunktionen
Ψ
(
y
)
=
E
(
X
|
Y
=
y
)
{\displaystyle \Psi (y)=\mathbb {E} (X|Y=y)}
Φ
(
x
)
=
E
(
Y
|
X
=
x
)
{\displaystyle \Phi (x)=\mathbb {E} (Y|X=x)}
Lösung: Wir erinnern noch einmal an die aus der Analysis bekannte Beziehung (3.2). Daraus folgt (nach einfacher Substitution), dass für alle
a
∈
R
{\displaystyle a\in \mathbb {R} }
(2.22)
∫
−
∞
∞
1
2
π
exp
{
−
(
u
−
a
)
2
/
2
}
d
u
=
1.
{\displaystyle \int \limits _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi }}}\exp\{-(u-a)^{2}/2\}\,du=1.}
Für die Randdichte
f
Y
{\displaystyle f_{Y}}
(2.23)
f
Y
(
y
)
=
∫
−
∞
∞
f
(
x
,
y
)
d
x
=
1
2
π
exp
{
−
y
2
2
}
∫
−
∞
∞
1
2
π
exp
{
−
(
x
−
y
)
2
2
}
d
x
=
1
2
π
exp
{
−
y
2
2
}
.
{\displaystyle f_{Y}(y)=\int \limits _{-\infty }^{\infty }f(x,y)\,dx={\frac {1}{\sqrt {2\pi }}}\exp \left\{-{\frac {y^{2}}{2}}\right\}\int \limits _{-\infty }^{\infty }{\frac {1}{\sqrt {2\pi }}}\exp \left\{-{\frac {(x-y)^{2}}{2}}\right\}\,dx={\frac {1}{\sqrt {2\pi }}}\exp \left\{-{\frac {y^{2}}{2}}\right\}.}
Folglich gilt
Y
∼
N
(
0
,
1
)
{\displaystyle Y\sim {\mathcal {N}}(0,1)}
X
|
Y
=
y
{\displaystyle X|Y=y}
f
X
|
Y
=
y
(
x
)
=
f
(
x
,
y
)
f
Y
(
y
)
=
1
2
π
exp
{
−
(
x
−
y
)
2
2
}
.
{\displaystyle f_{X|Y=y}(x)={\frac {f(x,y)}{f_{Y}(y)}}={\frac {1}{\sqrt {2\pi }}}\exp \left\{-{\frac {(x-y)^{2}}{2}}\right\}.}
Es gilt also
X
|
Y
=
y
∼
N
(
y
,
1
)
{\displaystyle X|Y=y\sim {\mathcal {N}}(y,1)}
Ψ
(
y
)
=
E
(
X
|
Y
=
y
)
=
y
.
{\displaystyle \Psi (y)=\mathbb {E} (X|Y=y)=y.}
Analog berechnen wir die Randdichte
f
X
{\displaystyle f_{X}}
(2.24)
f
X
(
x
)
=
∑
−
∞
∞
f
(
x
,
y
)
d
y
=
1
2
π
exp
{
x
2
4
}
∑
−
∞
∞
exp
{
−
(
x
2
−
y
)
2
}
d
y
{\displaystyle f_{X}(x)=\sum \limits _{-\infty }^{\infty }f(x,y)\,dy={\frac {1}{2\pi }}\exp \left\{{\frac {x^{2}}{4}}\right\}\sum \limits _{-\infty }^{\infty }\exp \left\{-\left({\frac {x}{2}}-y\right)^{2}\right\}\,dy}
(2.25)
=
1
2
π
exp
{
x
2
4
}
∑
−
∞
∞
exp
{
−
u
2
}
d
u
=
1
2
π
exp
{
x
2
4
}
⋅
π
{\displaystyle ={\frac {1}{2\pi }}\exp \left\{{\frac {x^{2}}{4}}\right\}\sum \limits _{-\infty }^{\infty }\exp\{-u^{2}\}\,du={\frac {1}{2\pi }}\exp \left\{{\frac {x^{2}}{4}}\right\}\cdot {\sqrt {\pi }}}
(2.26)
=
1
4
π
exp
{
x
2
2
}
,
{\displaystyle ={\frac {1}{\sqrt {4\pi }}}\exp \left\{{\frac {x^{2}}{2}}\right\},}
woraus wir auf
X
∼
N
(
0
,
2
)
{\displaystyle X\sim {\mathcal {N}}(0,2)}
f
Y
|
X
=
x
(
y
)
=
f
(
x
,
y
)
f
X
(
x
)
=
1
π
exp
{
−
(
x
2
−
y
)
2
}
,
{\displaystyle f_{Y|X=x}(y)={\frac {f(x,y)}{f_{X}(x)}}={\frac {1}{\sqrt {\pi }}}\exp \left\{-\left({\frac {x}{2}}-y\right)^{2}\right\},}
d. h.
Y
|
X
=
x
∼
N
(
x
/
2
,
1
/
2
)
{\displaystyle Y|X=x\sim {\mathcal {N}}(x/2,1/2)}
Φ
(
x
)
=
E
(
Y
|
X
=
x
)
=
x
2
{\displaystyle \Phi (x)=\mathbb {E} (Y|X=x)={\frac {x}{2}}}
führt.
(
X
,
Y
)
{\displaystyle (X,Y)}
f
(
x
,
y
)
=
{
y
2
exp
{
(
1
+
x
)
y
}
,
wenn
x
>
0
,
y
>
0
0
,
sonst.
{\displaystyle f(x,y)={\begin{cases}y^{2}\exp\{(1+x)y\},&{\text{wenn }}x>0,y>0\\0,&{\text{sonst.}}\end{cases}}}
Berechne die Erwartungswertfunktionen
Ψ
(
y
)
,
Φ
(
x
)
{\displaystyle \Psi (y),\Phi (x)}
(
X
,
Y
)
{\displaystyle (X,Y)}
α
X
+
β
{\displaystyle \alpha X+\beta }
von
Y
{\displaystyle Y}
X
{\displaystyle X}
E
(
Y
−
(
α
X
+
β
)
)
2
=
inf
a
,
b
∈
R
E
(
Y
−
(
a
X
+
b
)
)
2
{\displaystyle \mathbb {E} (Y-(\alpha X+\beta ))^{2}=\inf _{a,b\in \mathbb {R} }\mathbb {E} (Y-(aX+b))^{2}}
β
=
E
Y
−
α
E
X
,
α
=
Cov
(
X
,
Y
)
Var
(
X
)
=
E
(
X
Y
)
−
E
X
⋅
E
Y
E
(
X
2
)
−
(
E
X
)
2
=
ϱ
⋅
σ
(
Y
)
σ
(
X
)
.
{\displaystyle \beta =\mathbb {E} Y-\alpha \mathbb {E} X,\quad \alpha ={\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (X)}}={\frac {\mathbb {E} (XY)-\mathbb {E} X\cdot \mathbb {E} Y}{\mathbb {E} (X^{2})-(\mathbb {E} X)^{2}}}=\varrho \cdot {\frac {\sigma (Y)}{\sigma (X)}}.}
2.5 Allgemeine bedingte Erwartungswerte [ Bearbeiten ]
„Es ist nöthig zu bemerken, daß die Unklarheit im Begriffe durch die Abstraktheit hervorgerufen wird, die bei der Anwendung auf wirkliche Messungen überflüssig wird.“ Nikolai Iwanowitsch Lobatschewski, 1835
Nikolai Lobatschewski
Im Kapitel 2.2 wurde der Begriff des bedingten Erwartungswerts an Hand des Spezialfalls diskreter Zufallsgrößen verdeutlicht. Wir haben festgestellt, dass alle für
E
(
X
|
Y
)
{\displaystyle \mathbb {E} (X|Y)}
Y
{\displaystyle Y}
σ
{\displaystyle \sigma }
σ
(
Y
)
{\displaystyle \sigma (Y)}
σ
(
Y
)
{\displaystyle \sigma (Y)}
Träger der Information über
Y
{\displaystyle Y}
ist. Wir wollen dies nun auf allgemeine Zufallsgrößen und
σ
{\displaystyle \sigma }
Seien
Y
,
Y
1
,
Y
2
{\displaystyle Y,Y_{1},Y_{2}}
[
Ω
,
F
,
P
]
{\displaystyle [\Omega ,{\mathcal {F}},P]}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
σ
{\displaystyle \sigma }
F
{\displaystyle {\mathcal {F}}}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
volle Information über
Y
{\displaystyle Y}
σ
(
Y
)
⊆
F
~
{\displaystyle \sigma (Y)\subseteq {\tilde {\mathcal {F}}}}
Y
2
{\displaystyle Y_{2}}
mehr Information als
Y
1
{\displaystyle Y_{1}}
σ
(
Y
1
)
⊂
σ
(
Y
2
)
{\displaystyle \sigma (Y_{1})\subset \sigma (Y_{2})}
Ist
Y
{\displaystyle Y}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
Y
{\displaystyle Y}
σ
(
Y
)
{\displaystyle \sigma (Y)}
E
(
X
|
σ
(
Y
)
)
{\displaystyle \mathbb {E} (X|\sigma (Y))}
Sei
[
Ω
,
F
,
P
]
{\displaystyle [\Omega ,{\mathcal {F}},P]}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
σ
{\displaystyle \sigma }
F
{\displaystyle {\mathcal {F}}}
X
{\displaystyle X}
Z
{\displaystyle Z}
bedingter Erwartungswert von
X
{\displaystyle X}
σ
{\displaystyle \sigma }
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
, falls
σ
(
Z
)
⊆
F
~
,
{\displaystyle \sigma (Z)\subseteq {\tilde {\mathcal {F}}},}
E
(
X
I
A
)
=
E
(
Z
I
A
)
(
A
∈
F
~
)
.
{\displaystyle \mathbb {E} (X\mathbb {I} _{A})=\mathbb {E} (Z\mathbb {I} _{A})\quad (A\in {\tilde {\mathcal {F}}}).}
Symbolisch schreiben wir:
Z
:=
E
(
X
|
F
~
)
{\displaystyle Z:=\mathbb {E} (X|{\tilde {\mathcal {F}}})}
Bei diskreten Zufallsgrößen können wir explizit die bedingten Erwartungswerte berechnen. Allgemein ist dies schwierig oder unmöglich - Definition 2.7 ist alles andere als konstruktiv. Deshalb ist es wichtig, Rechenregeln für bedingte Erwartungswerte zu haben, die es einem ermöglichen, mit bedingten Erwartungswerten zu operieren, ohne ihre spezielle Form zu kennen. Wir werden die folgenden Eigenschaften nicht beweisen, sondern nur kommentieren.
Im folgenden sei
[
Ω
,
F
,
P
]
{\displaystyle [\Omega ,{\mathcal {F}},P]}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
σ
{\displaystyle \sigma }
F
{\displaystyle {\mathcal {F}}}
X
,
X
1
,
X
2
{\displaystyle X,X_{1},X_{2}}
F
{\displaystyle {\mathcal {F}}}
Ist
E
|
X
|
<
∞
{\displaystyle \mathbb {E} |X|<\infty }
E
(
X
|
F
~
)
{\displaystyle \mathbb {E} (X|{\tilde {\mathcal {F}}})}
Z
1
,
Z
2
{\displaystyle Z_{1},Z_{2}}
P
{\displaystyle P}
Z
1
=
Z
2
{\displaystyle Z_{1}=Z_{2}}
Der bedingte Erwartungswert ist linear: Für alle
a
,
b
∈
R
{\displaystyle a,b\in \mathbb {R} }
P
{\displaystyle P}
(2.27)
E
(
a
X
1
+
b
X
2
|
F
~
)
=
a
⋅
E
(
X
1
|
F
~
)
+
b
⋅
E
(
X
2
|
F
~
)
.
{\displaystyle \mathbb {E} (aX_{1}+bX_{2}|{\tilde {\mathcal {F}}})=a\cdot \mathbb {E} (X_{1}|{\tilde {\mathcal {F}}})+b\cdot \mathbb {E} (X_{2}|{\tilde {\mathcal {F}}}).}
(2.28)
E
(
E
(
X
|
F
~
)
)
=
E
X
.
{\displaystyle \mathbb {E} (\mathbb {E} (X|{\tilde {\mathcal {F}}}))=\mathbb {E} X.}
Sind
σ
(
X
)
{\displaystyle \sigma (X)}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
P
{\displaystyle P}
(2.29)
E
(
X
|
F
~
)
)
=
E
X
.
{\displaystyle \mathbb {E} (X|{\tilde {\mathcal {F}}}))=\mathbb {E} X.}
Ist
σ
(
X
)
⊆
F
~
{\displaystyle \sigma (X)\subseteq {\tilde {\mathcal {F}}}}
X
{\displaystyle X}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
P
{\displaystyle P}
(2.30)
E
(
X
|
F
~
)
)
=
X
.
{\displaystyle \mathbb {E} (X|{\tilde {\mathcal {F}}}))=X.}
Speziell ist also
E
(
X
1
|
X
2
)
=
X
1
{\displaystyle \mathbb {E} (X_{1}|X_{2})=X_{1}}
σ
(
X
1
)
⊆
σ
(
X
2
)
{\displaystyle \sigma (X_{1})\subseteq \sigma (X_{2})}
Ist
σ
(
X
1
)
⊆
F
~
{\displaystyle \sigma (X_{1})\subseteq {\tilde {\mathcal {F}}}}
X
1
{\displaystyle X_{1}}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
X
2
{\displaystyle X_{2}}
P
{\displaystyle P}
(2.31)
E
(
X
1
X
2
|
F
~
)
)
=
X
1
E
(
X
2
|
F
~
)
.
{\displaystyle \mathbb {E} (X_{1}X_{2}|{\tilde {\mathcal {F}}}))=X_{1}\mathbb {E} (X_{2}|{\tilde {\mathcal {F}}}).}
Ist
F
1
⊆
F
~
{\displaystyle {\mathcal {F}}_{1}\subseteq {\tilde {\mathcal {F}}}}
σ
{\displaystyle \sigma }
P
{\displaystyle P}
(2.32)
E
[
E
(
X
|
F
1
)
|
F
~
]
=
E
(
X
|
F
~
)
,
{\displaystyle \mathbb {E} [\mathbb {E} (X|{\mathcal {F}}_{1})|{\tilde {\mathcal {F}}}]=\mathbb {E} (X|{\tilde {\mathcal {F}}}),}
(2.33)
E
[
E
(
X
|
F
~
)
|
F
1
]
=
E
(
X
|
F
~
)
.
{\displaystyle \mathbb {E} [\mathbb {E} (X|{\tilde {\mathcal {F}}})|{\mathcal {F}}_{1}]=\mathbb {E} (X|{\tilde {\mathcal {F}}}).}
Sind
σ
(
X
1
)
{\displaystyle \sigma (X_{1})}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
σ
(
X
2
)
⊆
F
~
{\displaystyle \sigma (X_{2})\subseteq {\tilde {\mathcal {F}}}}
h
:
R
2
→
R
{\displaystyle h:\mathbb {R} ^{2}\to \mathbb {R} }
P
{\displaystyle P}
(2.34)
E
(
h
(
X
1
,
X
2
)
|
F
~
)
=
E
(
E
X
1
h
(
X
1
,
X
2
)
|
F
~
)
,
{\displaystyle \mathbb {E} (h(X_{1},X_{2})|{\tilde {\mathcal {F}}})=\mathbb {E} (\mathbb {E} _{X_{1}}h(X_{1},X_{2})|{\tilde {\mathcal {F}}}),}
wobei
E
X
1
h
(
X
1
,
X
2
)
{\displaystyle \mathbb {E} _{X_{1}}h(X_{1},X_{2})}
X
1
{\displaystyle X_{1}}
Beachte, dass
E
X
h
(
X
,
Y
)
{\displaystyle \mathbb {E} _{X}h(X,Y)}
(
E
X
h
(
X
,
Y
)
)
(
ω
)
=
E
X
h
(
X
,
Y
(
ω
)
)
{\displaystyle (\mathbb {E} _{X}h(X,Y))(\omega )=\mathbb {E} _{X}h(X,Y(\omega ))}
E
X
h
(
X
,
Y
)
{\displaystyle \mathbb {E} _{X}h(X,Y)}
X
{\displaystyle X}
f
X
{\displaystyle f_{X}}
E
X
h
(
X
,
Y
)
=
∫
−
∞
∞
h
(
x
,
Y
)
f
X
(
x
)
d
x
.
{\displaystyle \mathbb {E} _{X}h(X,Y)=\int \limits _{-\infty }^{\infty }h(x,Y)f_{X}(x)\,dx.}
Ist beispielsweise
h
(
x
,
y
)
=
x
⋅
y
{\displaystyle h(x,y)=x\cdot y}
E
X
h
(
X
,
Y
)
=
E
X
(
X
Y
)
=
Y
E
X
{\displaystyle \mathbb {E} _{X}h(X,Y)=\mathbb {E} _{X}(XY)=Y\mathbb {E} X}
h
(
x
,
y
)
=
x
+
y
{\displaystyle h(x,y)=x+y}
E
X
h
(
X
,
Y
)
=
E
X
(
X
+
Y
)
=
E
X
+
Y
{\displaystyle \mathbb {E} _{X}h(X,Y)=\mathbb {E} _{X}(X+Y)=\mathbb {E} X+Y}
Sei
[
Ω
,
F
,
P
]
{\displaystyle [\Omega ,{\mathcal {F}},P]}
F
~
⊆
F
{\displaystyle {\tilde {\mathcal {F}}}\subseteq {\mathcal {F}}}
σ
{\displaystyle \sigma }
E
(
X
|
F
~
)
{\displaystyle \mathbb {E} (X|{\tilde {\mathcal {F}}})}
Verfeinerung oder ein Update der Information
E
X
{\displaystyle \mathbb {E} X}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
E
(
X
|
F
~
)
{\displaystyle \mathbb {E} (X|{\tilde {\mathcal {F}}})}
Minimalitätseigenschaft in Bezug auf die mittlere quadratische Abweichung.
Sei
[
Ω
,
F
,
P
]
{\displaystyle [\Omega ,{\mathcal {F}},P]}
F
~
⊆
F
{\displaystyle {\tilde {\mathcal {F}}}\subseteq {\mathcal {F}}}
σ
{\displaystyle \sigma }
L
2
(
F
~
)
{\displaystyle L_{2}({\tilde {\mathcal {F}}})}
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
X
{\displaystyle X}
E
X
2
<
∞
{\displaystyle \mathbb {E} X^{2}<\infty }
(2.35)
E
[
X
−
E
(
X
|
F
~
)
]
2
=
min
Z
∈
L
2
(
F
~
)
E
(
X
−
Z
)
2
.
{\displaystyle \mathbb {E} \left[X-\mathbb {E} (X|{\tilde {\mathcal {F}}})\right]^{2}=\min _{Z\in L_{2}({\tilde {\mathcal {F}}})}\mathbb {E} (X-Z)^{2}.}
Sei
[
Ω
,
F
,
P
]
{\displaystyle [\Omega ,{\mathcal {F}},P]}
X
{\displaystyle X}
Y
{\displaystyle Y}
E
(
X
|
σ
(
Y
)
)
{\displaystyle \mathbb {E} (X|\sigma (Y))}
bedingter Erwartungswert von
X
{\displaystyle X}
Y
{\displaystyle Y}
. Symbolisch schreibt man auch
E
(
X
|
Y
)
{\displaystyle \mathbb {E} (X|Y)}
Wegen Theorem 2.12 ist
E
(
X
|
Y
)
{\displaystyle \mathbb {E} (X|Y)}
Y
{\displaystyle Y}
X
{\displaystyle X}
Regressionsanalyse . Wir sagen auch, dass
E
(
X
|
F
~
)
{\displaystyle \mathbb {E} (X|{\tilde {\mathcal {F}}})}
beste Vorhersage von
X
{\displaystyle X}
bei gegebenem
F
~
{\displaystyle {\tilde {\mathcal {F}}}}
Zum Schluss noch als technisches Hilfsmittel eine wichtige Ungleichung.
Sei
f
:
R
→
R
{\displaystyle f:\mathbb {R} \to \mathbb {R} }
X
{\displaystyle X}
[
Ω
,
F
,
P
]
{\displaystyle [\Omega ,{\mathcal {F}},P]}
E
|
X
|
<
∞
{\displaystyle \mathbb {E} |X|<\infty }
E
|
f
(
X
)
|
<
∞
{\displaystyle \mathbb {E} |f(X)|<\infty }
(2.36)
f
(
E
X
)
≤
E
f
(
X
)
.
{\displaystyle f(\mathbb {E} X)\leq \mathbb {E} f(X).}
Für eine beliebige
σ
{\displaystyle \sigma }
F
~
⊆
F
{\displaystyle {\tilde {\mathcal {F}}}\subseteq {\mathcal {F}}}
(2.37)
f
(
E
X
|
F
~
)
≤
E
[
f
(
X
)
|
F
~
]
.
{\displaystyle f(\mathbb {E} X|{\tilde {\mathcal {F}}})\leq \mathbb {E} [f(X)|{\tilde {\mathcal {F}}}].}
![{\displaystyle =\sum _{k}\left[(\Phi (x_{k})-g(x_{k}))\left(\sum _{l}y_{l}{\frac {p_{kl}}{p_{k\cdot }}}-\Phi (x_{k})\sum _{l}{\frac {p_{kl}}{p_{k\cdot }}}\right)\right]p_{k\cdot }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/028ce859226b550b1ac7bd52eaf1cd64267c9af6)
![{\displaystyle =\sum _{k}\left[(\Phi (x_{k})-g(x_{k}))\left(\Phi (x_{k})-\Phi (x_{k}){\frac {p_{k\cdot }}{p_{k\cdot }}}\right)\right]p_{k\cdot }=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4e445dc56c7eaa605bdb14458449d15a979ff115)
![{\displaystyle u\in [y,y+h]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/74af0b9c840558707405b2c567e252d1292889cb)
![{\displaystyle P(Y\in [y,y+h])>0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3a2229719bacc19ebfab545ccd7c57a723c12d03)
![{\displaystyle \lim _{h\downarrow 0}P(X\in A|Y\in [y,y+h))={\frac {\int \limits _{A}\left[\lim \limits _{h\downarrow 0}{\frac {1}{h}}\int \limits _{y}^{y+h}f(u,v)\,dv\right]\,du}{\lim \limits _{h\downarrow 0}{\frac {1}{h}}\int \limits _{y}^{y+h}f_{Y}(v)\,dv}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/31e58457234b19a7987a05e91e6e2f571ee0f66a)
![{\displaystyle =\int \limits _{\mathbb {R} }\left[(\Phi (x)-g(x))\left(\int \limits _{\mathbb {R} }y{\frac {f(x,y)}{f_{X}(x)}}\,dy-\Phi (x)\int \limits _{\mathbb {R} }{\frac {f(x,y)}{f_{X}(x)}}\,dy\right)\right]f_{X}(x)\,dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/85c65ae6752e911d0a5bcc98eae9db041d3a3997)
![{\displaystyle =\int \limits _{\mathbb {R} }\left[(\Phi (x)-g(x))\left(\Phi (x)-\Phi (x){\frac {f_{X}(x)}{f_{X}(x)}}\right)\right]f_{X}(x)\,dx=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/81cb6cabbe3b89585a39ddb1e67af60036bd7328)
![{\displaystyle [\Omega ,{\mathcal {F}},P]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/024955a314ab2da4eaeecd273f8540365e32b66c)
![{\displaystyle \mathbb {E} [\mathbb {E} (X|{\mathcal {F}}_{1})|{\tilde {\mathcal {F}}}]=\mathbb {E} (X|{\tilde {\mathcal {F}}}),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/87991858113c733f6331f62fe514ef56cebd6cba)
![{\displaystyle \mathbb {E} [\mathbb {E} (X|{\tilde {\mathcal {F}}})|{\mathcal {F}}_{1}]=\mathbb {E} (X|{\tilde {\mathcal {F}}}).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bf2ac077cb283c0edf5042ec480bccf7b9c6a67a)
![{\displaystyle \mathbb {E} \left[X-\mathbb {E} (X|{\tilde {\mathcal {F}}})\right]^{2}=\min _{Z\in L_{2}({\tilde {\mathcal {F}}})}\mathbb {E} (X-Z)^{2}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a423877b5e6a2a690423f9dba9d161e6cbade119)
![{\displaystyle f(\mathbb {E} X|{\tilde {\mathcal {F}}})\leq \mathbb {E} [f(X)|{\tilde {\mathcal {F}}}].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a146d9540fb1140a00b85a5fd194490cbcbd7de9)