Kurs:Grundkurs Mathematik (Osnabrück 2016-2017)/Teil II/Vorlesung 56

Produkte von endlichen Wahrscheinlichkeitsräumen

Beispiel

Eine Münze wird zweimal unabhängig voneinander hintereinander geworfen, und wir interessieren uns für die Wahrscheinlichkeit, wie oft dabei Zahl fällt. Die Möglichkeiten sind ${}0,1,2$ . Diese sind aber nicht gleichwahrscheinlich, sondern die ${}1$ ist deutlich wahrscheinlicher als die ${}0$ und die ${}2$ . Wenn man das Ereignis mit der möglichen Wertemenge ${}\{0,1,2\}$ beschreibt, so liegt kein Laplace-Raum vor. Es ist besser, die Gesamtsituation durch den Produktraum ${}\{K,Z\}\times \{K,Z\}$ zu beschreiben, wobei die Paare daraus die möglichen Ausgänge des Gesamtexperimentes bezeichnen, bei dem das Ergebnis beim ersten Wurf an erster und das Ergebnis beim zweiten Wurf an zweiter Stelle notiert wird. Die möglichen Ergebnisse sind somit

(Z,Z),\,(Z,K),\,(K,Z),\,(K,K).

Diese Elementarereignisse sind gleichwahrscheinlich, d.h. mit diesem Produktraum wird das Gesamtexperiment durch einen Laplace-Raum beschrieben, bei dem jedes Elementarereignis die Wahrscheinlichkeit ${}{\frac {1}{4}}$ besitzt. Die ursprüngliche Frage nach der Wahrscheinlichkeit, wie oft insgesamt Zahl geworfen wird, wird mit Hilfe dieses Produktraumes dadurch beantwortet, dass man zählt, wie viele der Elementarereignisse zur Summenanzahl ${}0,1,2$ führen. Somit besitzt keinmal Zahl die Wahrscheinlichkeit ${}{\frac {1}{4}}$ , einmal Zahl die Wahrscheinlichkeit ${}{\frac {1}{2}}$ und zweimal Zahl die Wahrscheinlichkeit ${}{\frac {1}{4}}$ .

Die mehrfache Hintereinanderausführung eines Experimentes wird durch die Produktmenge, die Produktdichte und das Produktmaß mathematisch realisiert.

Definition

Es seien ${}(M_{1},\mu _{1}),\ldots ,(M_{n},\mu _{n})$ endliche Wahrscheinlichkeitsräume mit zugehörigen Dichten ${}f_{i}$ . Dann nennt man die Produktmenge ${}M_{1}\times \cdots \times M_{n}$ zusammen mit der durch

{}f(x_{1},\ldots ,x_{n}):=f_{1}(x_{1})\cdots f_{n}(x_{n})\,

gegebenen Wahrscheinlichkeitsdichte den Produktraum der Wahrscheinlichkeitsräume.

Häufig nimmt man in jeder Komponente den gleichen Wahrscheinlichkeitsraum ${}M$ , etwa, wenn man die ${}n$ -fache Hintereinanderausführung eines Experimentes untersuchen möchte. Für den Produktraum schreibt man dann kurz ${}M^{n}$ .

Beispiel

Es soll zehnmal mit einer Münze hintereinander geworfen werden. Mit dem Grundraum

{}M=\{K,Z\}\,

wird dies dann mit dem Produktraum

{}N=M^{10}\,

beschrieben, die Elemente im Produktraum dokumentieren einen möglichen Ausgang des Gesamtexperimentes, es handelt sich um sämtliche Kombinationen der Länge ${}10$ aus ${}K$ oder ${}Z$ , „typische“ Elemente sind

(Z,Z,K,Z,K,K,Z,K,K,Z),\,(K,K,Z,K,K,K,Z,K,Z,K),\,(Z,Z,Z,Z,Z,Z,Z,Z,Z,Z).

Diese haben alle die Wahrscheinlichkeit

{}{\left({\frac {1}{2}}\right)}^{10}={\frac {1}{2^{10}}}\,.

Lemma

Es seien ${}(M_{1},\mu _{1}),\ldots ,(M_{n},\mu _{n})$ endliche Wahrscheinlichkeitsräume und

{}M=M_{1}\times \cdots \times M_{n}\,

der Produktraum. Dann gelten folgende Aussagen.

Der Produktraum ist in der Tat ein Wahrscheinlichkeitsraum.

Für Teilmengen ${}T_{1}\subseteq M_{1},\ldots ,T_{n}\subseteq M_{n}$ ist
${}\mu (T_{1}\times \cdots \times T_{n})=\mu _{1}(T_{1})\cdots \mu _{n}(T_{n})\,.$

Beweis

Es seien ${}f_{i}$ die zugehörigen Wahrscheinlichkeitsdichten.

Unter Verwendung des allgemeinen Distributivgesetzes in der Form von Aufgabe 11.7 gilt
${}{\begin{aligned}\sum _{x\in M}f(x)&=\sum _{(x_{1},\ldots ,x_{n})\in M_{1}\times \cdots \times M_{n}}f_{1}(x_{1})\cdots f_{n}(x_{n})\\&={\left(\sum _{x_{1}\in M_{1}}f_{1}(x_{1})\right)}\cdots {\left(\sum _{x_{n}\in M_{n}}f_{n}(x_{n})\right)}\\&=1\cdots 1\\&=1.\end{aligned}}$
Es ist entsprechend
${}{\begin{aligned}\mu (T_{1}\times \cdots \times T_{n})&=\sum _{x\in T_{1}\times \cdots \times T_{n}}f(x)\\&=\sum _{(x_{1},\ldots ,x_{n})\in T_{1}\times \cdots \times T_{n}}f_{1}(x_{1})\cdots f_{n}(x_{n})\\&={\left(\sum _{x_{1}\in T_{1}}f_{1}(x_{1})\right)}\cdots {\left(\sum _{x_{n}\in T_{n}}f_{n}(x_{n})\right)}\\&=\mu _{1}(T_{1})\cdots \mu _{n}(T_{n}).\end{aligned}}$

\Box

Bemerkung

Zu Laplace-Räumen ${}(M_{1},\mu _{1}),\ldots ,(M_{n},\mu _{n})$ mit

{}{\#\left(M_{i}\right)}=k_{i}\,

ist der Produktraum ${}M_{1}\times \cdots \times M_{n}$ ebenfalls ein Laplace-Raum mit ${}k_{1}\cdots k_{n}$ Elementen. Dies ergibt sich unmittelbar aus der Definition des Produktraumes und aus Satz 9.4.

Die Binomialverteilung

Definition

Es sei ${}p\in [0,1]$ und ${}n\in \mathbb {N}$ . Die endliche Wahrscheinlichkeitsdichte ${}B_{p,n}$ auf ${}M=\{0,1,\ldots ,n\}$ mit

{}B_{p,n}(k)={\binom {n}{k}}p^{k}(1-p)^{n-k}\,

heißt Binomialverteilung zur Stichprobenlänge ${}n$ und zur Erfolgswahrscheinlichkeit ${}p$ .

Lemma

Die Binomialverteilung zu ${}p\in [0,1]$

ist eine Wahrscheinlichkeitsdichte auf ${}\{0,1,\ldots ,n\}$ .

Beweis

Wir müssen lediglich nachweisen, dass

{}\sum _{k=0}^{n}B_{p,n}(k)=1\,

ist. Nach dem binomischen Lehrsatz ist

{}1=1^{n}=(p+(1-p))^{n}=\sum _{k=0}^{n}{\binom {n}{k}}p^{k}(1-p)^{n-k}=\sum _{k=0}^{n}B_{p,n}(k)\,,

was die Behauptung bestätigt.

\Box

Lemma

Es sei ${}M=\{0,1\}$ mit der Bernoulli-Verteilung zur Wahrscheinlichkeit ${}p$ versehen und es sei ${}n\in \mathbb {N} _{+}$ . Es sei

{}N=M^{n}\,

das ${}n$ -fache Produkt von ${}M$ mit sich selbst.

Dann besitzt zu ${}k\in \{0,1,\ldots ,n\}$ das Ereignis

${}E_{k}={\left\{{\left(x_{1},\ldots ,x_{n}\right)}\in M^{n}\mid \sum _{i=1}^{n}x_{i}=k\right\}}\,$

die Wahrscheinlichkeit

${}B_{p,n}(k)={\binom {n}{k}}p^{k}(1-p)^{n-k}\,.$

Beweis

Da jedes ${}x_{i}$ nur den Wert ${}0$ oder ${}1$ haben kann, gilt ${}\sum _{i=1}^{n}x_{i}=k$ genau dann, wenn in

{}x=\left(x_{1},\,\ldots ,\,x_{n}\right)\,

genau ${}k$ -fach eine ${}1$ (und $n-k$ -fach eine ${}0$ steht). Diese Tupel entsprechen den ${}k$ -elementigen Teilmengen von ${}{\{1,\ldots ,n\}}$ , davon gibt es nach Satz 13.6 ${}{\binom {n}{k}}$ Stück. Die Wahrscheinlichkeit für ein solches einzelnes Tupel von diesem Typ ist nach der Definition der Produktwahrscheinlichkeit gleich ${}p^{k}(1-p)^{n-k}$ . Somit ist die Gesamtwahrscheinlichkeit von ${}E_{k}$ gleich

{\binom {n}{k}}p^{k}(1-p)^{n-k}.

\Box

Satz

Es sei ein Experiment gegeben, das nur die Werte ${}0$ und ${}1$ annehmen kann und bei dem der Wert ${}1$ die Wahrscheinlichkeit ${}p$ besitzt.

Dann ist die Verteilung auf ${}\{0,1,\ldots ,n\}$ , die die Wahrscheinlichkeit beschreibt, dass bei der ${}n$ -fachen (unabhängigen) Hintereinaderausführung des Experimentes ${}k$ -fach das Ereignis ${}1$ eintritt, durch die Binomialverteilung zur Stichprobenlänge ${}n$ und zur Erfolgswahrscheinlichkeit ${}p$ gegeben.

Beweis

Das Experiment wird durch die Bernoulli-Verteilung auf ${}M=\{0,1\}$ mit der Erfolgswahrscheinlichkeit ${}p$ beschrieben. Die ${}n$ -fache Hintereinanderausführung wird somit durch den Produktraum ${}M^{n}$ beschrieben. Das Ereignis

{}E_{k}\subseteq M^{n}\,,

das beschreibt, dass genau ${}k$ -fach ${}1$ eintritt, besitzt nach Lemma 56.8 die Wahrscheinlichkeit

{}B_{p,n}(k)={\binom {n}{k}}p^{k}(1-p)^{n-k}\,.

\Box

Korollar

Die Wahrscheinlichkeit, dass bei einem ${}n$ -fachen Münzwurf genau ${}k$ -fach Kopf fällt,

beträgt

${}B_{{\frac {1}{2}},n}(k)={\frac {\binom {n}{k}}{2^{n}}}\,.$

Beweis

Dies folgt unmittelbar aus Satz 56.9, da bei ${}p={\frac {1}{2}}$ die Gleichheit

{}p^{k}(1-p)^{n-k}={\left({\frac {1}{2}}\right)}^{k}\cdot {\left({\frac {1}{2}}\right)}^{n-k}={\left({\frac {1}{2}}\right)}^{n}={\frac {1}{2^{n}}}\,

gilt.

\Box

Das Gesetz der großen Zahlen

In der Wahrscheinlichkeitstheorie interessiert man sich häufig für asymptotische Aussagen. Dass bei einem einzelnen Münzwurf Kopf und Zahl gleichwahrscheinlich ist, ist eine plausible Definition, aber selbst noch nicht sehr aussagestark. Eine gehaltvolle Aussage wird erst dann daraus, wenn man zeigen kann, dass bei einer häufigen Wiederholung des Experimentes die relative Häufigkeit, wie oft Kopf fällt, sich in der Nähe von ${}{\frac {1}{2}}n$ befindet, wenn ${}n$ die Anzahl der Wiederholungen bezeichnet. In diesem Kontext ist es zunächst wichtig, sich klar zu machen, was eine sinnvolle Formulierung sein könnte und wie hier „in der Nähe von“ zu verstehen ist. Insbesondere muss man sich klar machen, was zu viel erwartet wäre. Beispielsweise ist die Wahrscheinlichkeit, dass bei einem ${}n$ -fachen Münzwurf (mit ${}n$ gerade) genau ${}n/2$ -oft Kopf fällt, gleich ${}{\frac {\binom {n}{n/2}}{2^{n}}}$ . Dies ist wahrscheinlicher als jedes andere Ergebnis für die Anzahl der Kopfwürfe. Wenn aber ${}n$ gegen unendlich strebt, so wird diese Wahrscheinlichkeit beliebig klein, sie konvergiert gegen ${}0$ . Auch wenn man einen gewissen Abstand zu der Mitte ${}n/2$ fixiert, wie wenn man sagt, dass die Anzahl der Kopfwürfe zwischen ${}n/2-10$ und ${}n/2+10$ liegen soll, so geht die Wahrscheinlichkeit dafür gegen ${}0$ für ${}n$ gegen unendlich. Dies klingt einleuchtend, wenn man sich ein großes ${}n$ betrachtet. Dass bei einer Million an Münzwürfen die Kopfanzahl im (relativ gesehen kleinen) Intervall ${}[499990,5000010]$ liegen soll, ist doch nicht zu erwarten. Anders sieht es aus, wenn man „in der Nähe von “ anteilig bzw. prozentual versteht. Wenn man sich Intervalle der Form

[{\frac {n}{2}}-{\frac {n}{10}},{\frac {n}{2}}+{\frac {n}{10}}]

anschaut, so sind dies für einige Zehnerpotenzen die Intervalle ${}[4,6]$ , ${}[40,60]$ , ${}[400,600]$ , ${}[400000,600000]$ , und unser stochastisches Gefühl sagt uns, dass die Wahrscheinlichkeiten zunehmend größer werden, dass die Anzahlen der Kopfwürfe in diesen Intervallen liegen. Diese Beobachtung wird durch das Gesetz der großen Zahlen präzisiert. Es gibt eine ganze Reihe von Aussagen unter diesem Namen, wir beschränken uns auf den Fall eines Münzwurfes.

Lemma

Es sei ${}\beta \in \mathbb {R}$ , ${}0<\beta <{\frac {1}{2}}$ , fixiert und ${}n\in \mathbb {N}$ gerade. Dann gelten folgende Aussagen.

Es ist ${}{\frac {\binom {n}{n/2}}{2^{n}}}\rightarrow 0$ für ${}n\rightarrow \infty$ .

Es ist
${}{\binom {n}{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }}\leq {\left({\left({\frac {1}{1+2\beta }}\right)}^{\beta }\right)}^{n}\cdot {\binom {n}{\frac {n}{2}}}\,.$

Es ist
$\sum _{k=0}^{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }{\binom {n}{k}}\leq {\left({\frac {n}{2}}+1-\left\lfloor \beta n\right\rfloor \right)}\cdot {\left({\left({\frac {1}{1+2\beta }}\right)}^{\beta }\right)}^{n}\cdot {\binom {n}{\frac {n}{2}}}\,.$

Für ${}n\rightarrow \infty$ konvergiert der Ausdruck
${\frac {1}{2^{n}}}{\left(\sum _{k=0}^{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }{\binom {n}{k}}\right)}$

gegen ${}0$ .

Beweis

Siehe Aufgabe 56.14.
Nach Aufgabe 13.12 ist
${}{\binom {n}{k+1}}={\frac {n-k}{k+1}}\cdot {\binom {n}{k}}\,.$

Somit besteht zwischen ${}{\binom {n}{{\frac {1}{2}}n}}$ und ${}{\binom {n}{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }}$ der Zusammenhang

${}{\begin{aligned}{\binom {n}{\frac {n}{2}}}&={\frac {{\frac {n}{2}}+1}{\frac {n}{2}}}\cdot {\binom {n}{{\frac {n}{2}}-1}}\\&={\frac {{\frac {n}{2}}+1}{\frac {n}{2}}}\cdot {\frac {{\frac {n}{2}}+2}{{\frac {n}{2}}-1}}\cdot {\binom {n}{{\frac {n}{2}}-2}}\\&={\frac {{\frac {n}{2}}+1}{\frac {n}{2}}}\cdot {\frac {{\frac {n}{2}}+2}{{\frac {n}{2}}-1}}\cdots {\frac {{\frac {n}{2}}+\left\lfloor \beta n\right\rfloor +1}{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }}\cdot {\binom {n}{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }}.\end{aligned}}$

Dies bedeutet umgekehrt

${}{\begin{aligned}{\binom {n}{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }}&={\frac {\frac {n}{2}}{{\frac {n}{2}}+1}}\cdot {\frac {{\frac {n}{2}}-1}{{\frac {n}{2}}+2}}\cdots {\frac {{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }{{\frac {n}{2}}+\left\lfloor \beta n\right\rfloor +1}}\cdot {\binom {n}{\frac {n}{2}}}\\&={\frac {{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }{{\frac {n}{2}}+1}}\cdot {\frac {{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor +1}{{\frac {n}{2}}+2}}\cdots {\frac {\frac {n}{2}}{{\frac {n}{2}}+\left\lfloor \beta n\right\rfloor +1}}\cdot {\binom {n}{\frac {n}{2}}}.\end{aligned}}$

Die Faktoren sind alle von der Form

${\frac {{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor -1+i}{{\frac {n}{2}}+i}}$

mit ${}i=1,\ldots ,\left\lfloor \beta n\right\rfloor +1$ . Sie sind alle ${}<1$ und für das maximale ${}i$ , also für ${}\left\lfloor \beta n\right\rfloor +1$ , am größten. Da es ${}\left\lfloor \beta n\right\rfloor +1$ viele Faktoren gibt, kann man das Produkt unter Verwendung von Lemma 25.17 (1), Lemma 53.5 (6) und Lemma 53.5 (8) durch

${}{\begin{aligned}{\left({\frac {\frac {n}{2}}{{\frac {n}{2}}+\left\lfloor \beta n\right\rfloor +1}}\right)}^{\left\lfloor \beta n\right\rfloor +1}&\leq {\left({\frac {\frac {n}{2}}{{\frac {n}{2}}+\beta n}}\right)}^{\left\lfloor \beta n\right\rfloor +1}\\&\leq {\left({\frac {\frac {n}{2}}{{\frac {n}{2}}+\beta n}}\right)}^{\beta n}\\&={\left({\frac {\frac {1}{2}}{{\frac {1}{2}}+\beta }}\right)}^{\beta n}\\&={\left({\left({\frac {1}{1+2\beta }}\right)}^{\beta }\right)}^{n}\end{aligned}}$

nach oben abschätzen. Also ist

${}{\binom {n}{{\frac {n}{2}}-\left\lfloor \beta n\right\rfloor }}\leq {\left({\left({\frac {1}{1+2\beta }}\right)}^{\beta }\right)}^{n}\cdot {\binom {n}{\frac {n}{2}}}\,.$
Dies folgt aus (2), da die Binomialkoeffizienten in diesem Bereich wachsend sind und da es ${}{\left({\frac {n}{2}}+1-\left\lfloor \beta n\right\rfloor \right)}$ Summanden gibt.
Nach (1) konvergiert ${}{\frac {\binom {n}{n/2}}{2^{n}}}$ gegen ${}0$ . Nach (3) genügt es daher, zu zeigen, dass
${\left({\frac {n}{2}}+1-\left\lfloor \beta n\right\rfloor \right)}{\left({\left({\frac {1}{1+2\beta }}\right)}^{\beta }\right)}^{n}$

gegen ${}0$ konvergiert. Dieser Ausdruck ist aber (beschränkt durch) von der Form

$n\cdot \gamma ^{n}$

mit ${}\gamma <1$ , also nach Satz 27.11 konvergent gegen ${}0$ .

\Box

Satz

Zu jedem ${}\alpha <{\frac {1}{2}}$

konvergiert die Folge

${\frac {1}{2^{n}}}{\left(\sum _{k=0}^{\lfloor \alpha n\rfloor }B_{{\frac {1}{2}},n}(k)\right)}$

gegen ${}0$ .

Das bedeutet, dass die relative Häufigkeit bei einem ${}n$ -fach wiederholten Bernoulli-Experiment zur Wahrscheinlichkeit ${}{\frac {1}{2}}$ bei ${}n$ hinreichend groß mit beliebig hoher Wahrscheinlichkeit im Intervall ${}[\alpha n,(1-\alpha )n]$ liegt.