Experimentwiederholung/Gesetz der großen Zahlen/Textabschnitt

Wir geben hier einen weiteren Beweis für das Gesetz der großen Zahlen, der näher am üblichen wahrscheinlichkeitstheoretischen Zugang liegt als der in der Vorlesung gegebene. Allerdings werden wir die Konzepte Zufallsvariable, Erwartungswert, Varianz nur versteckt verwenden. Alles bezieht sich auf die Hintereinanderausführung eines Bernoulli-Experimentes zur Erfolgswahrscheinlichkeit ${}p$. Die Wahrscheinlichkeit von Ereignissen in den zugehörigen Produkträumen bezeichnen wir mit ${}P$.

Lemma

Es liege eine Bernoulli-Verteilung auf ${}\{0,1\}$ mit der Wahrscheinlichkeit ${}p$ für ${}1$ vor. Dann gelten folgende Aussagen.

1. Es ist

   ${}\sum _{x\in \{0,1\}}(x-p)^{2}\cdot P(x)=p(1-p)\,.$

2. Es ist

   ${}\sum _{(x,y)\in \{0,1\}\times \{0,1\}}(x-p)(y-p)\cdot P(x,y)=0\,.$

Beweis

1. Es ist

   ${}P(x,y)=P(x)\cdot P(y)\,.$

   Somit ist

   ${}\sum _{x\in \{0,1\}}(x-p)^{2}\cdot P(x)=p^{2}(1-p)+(1-p)^{2}p=p(1-p)(p+1-p)=p(1-p)\,.$

2. Es ist

   ${}\sum _{(x,y)\in \{0,1\}\times \{0,1\}}(x-p)(y-p)\cdot P(x,y)=p^{2}(1-p)(1-p)-2p(1-p)p(1-p)+(1-p)(1-p)p^{2}=0\,.$

$\Box$

Korollar

Dann ist

${}\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(\sum _{i=1}^{n}x_{i}-np\right)}^{2}P(x_{1},x_{2},\ldots ,x_{n})=np(1-p)\,$

und

${}\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p\right)}^{2}P(x_{1},x_{2},\ldots ,x_{n})={\frac {p(1-p)}{n}}\,.$

Beweis

Die zweite Aussage folgt unmittelbar aus der ersten durch Multiplikation mit ${}{\frac {1}{n^{2}}}$. Es ist

${}{\begin{aligned}\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(\sum _{i=1}^{n}x_{i}-np\right)}^{2}P(x_{1},x_{2},\ldots ,x_{n})&=\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(x_{1}-p+x_{2}-p+\cdots +x_{n}-p\right)}^{2}P(x_{1},x_{2},\ldots ,x_{n})\\&=\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(\sum _{i=1}^{n}(x_{i}-p)^{2}+2\sum _{i<j}(x_{i}-p)(x_{j}-p)\right)}P(x_{1},x_{2},\ldots ,x_{n})\\&=\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(\sum _{i=1}^{n}(x_{i}-p)^{2}\right)}P(x_{1},x_{2},\ldots ,x_{n})+2\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(\sum _{i<j}(x_{i}-p)(x_{j}-p)\right)}P(x_{1},x_{2},\ldots ,x_{n}).\end{aligned}}$

Für die vordere Summe ist

${}{\begin{aligned}\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(\sum _{i=1}^{n}(x_{i}-p)^{2}\right)}P(x_{1},x_{2},\ldots ,x_{n})&=\sum _{i=1}^{n}{\left(\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}(x_{i}-p)^{2}\cdot P(x_{1},x_{2},\ldots ,x_{n})\right)}\\&=\sum _{i=1}^{n}{\left(\sum _{(x_{1},\ldots ,x_{i-1},x_{i},\ldots ,x_{n})\in \{0,1\}^{n-1}}{\left(\sum _{x_{i}\in \{0,1\}}(x_{i}-p)^{2}\cdot P(x_{i})\right)}\prod _{k\neq i}P(x_{k})\right)}\\&=\sum _{i=1}^{n}{\left(\sum _{x_{i}\in \{0,1\}}(x_{i}-p)^{2}\cdot P(x_{i})\right)}\\&=\sum _{i=1}^{n}p(1-p)\\&=np(1-p)\end{aligned}}$

nach Fakt  (1).

Für die hintere Summe ist

${}{\begin{aligned}\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left(\sum _{i<j}(x_{i}-p)(x_{j}-p)\right)}P(x_{1},x_{2},\ldots ,x_{n})&=\sum _{i<j}{\left(\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}(x_{i}-p)(x_{j}-p)P(x_{1},x_{2},\ldots ,x_{n})\right)}\\&=\sum _{i<j}{\left(\sum _{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{j-1},x_{j+1},\ldots ,x_{n})\in \{0,1\}^{n-2}}{\left(\sum _{(x_{i},x_{j})\in \{0,1\}^{2}}(x_{i}-p)(x_{j}-p)P(x_{i})P(x_{j})\right)}\prod _{k\neq i,j}P(x_{k})\right)}\\&=0\end{aligned}}$

nach Fakt  (2).

$\Box$

Lemma

Ein Bernoulli-Experiment mit der Erfolgswahrscheinlichkeit ${}p$ werde ${}n$-fach unabhängig voneinander durchgeführt.

Für jedes ${}\epsilon >0$ gilt dann die Tschebyschow-Abschätzung

${}P{\left({\left\{(x_{1},\ldots ,x_{n})\in \{0,1\}^{n}\mid \vert {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p}\vert \geq \epsilon \right\}}\right)}\leq {\frac {p(1-p)}{n\epsilon ^{2}}}\,.$

Beweis

Es ist

${}{\begin{aligned}\sum _{(x_{1},x_{2},\ldots ,x_{n})\in \{0,1\}^{n}}{\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p\right)}^{2}P(x_{1},x_{2},\ldots ,x_{n})&\geq \sum _{\left\{(x_{1},\ldots ,x_{n})\in \{0,1\}^{n}\mid \vert {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p}\vert \geq \epsilon \right\}}{\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p\right)}^{2}P(x_{1},\ldots ,x_{n})\\&\geq \sum _{\left\{(x_{1},\ldots ,x_{n})\in \{0,1\}^{n}\mid \vert {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p}\vert \geq \epsilon \right\}}\epsilon ^{2}P(x_{1},\ldots ,x_{n})\\&=\epsilon ^{2}\sum _{\left\{(x_{1},\ldots ,x_{n})\in \{0,1\}^{n}\mid \vert {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p}\vert \geq \epsilon \right\}}P(x_{1},\ldots ,x_{n})\\&=\epsilon ^{2}\cdot P{\left({\left\{(x_{1},\ldots ,x_{n})\in \{0,1\}^{n}\mid \vert {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p}\vert \geq \epsilon \right\}}\right)}.\end{aligned}}$

Aus Fakt folgt somit die Behauptung.

$\Box$

Satz

Zu jedem ${}\epsilon >0$

wird die Wahrscheinlichkeit, dass bei einer ${}n$-fachen Wiederholung eines Bernoulli-Experimentes der Abstand zwischen relativer Häufigkeit und Erfolgswahrscheinlichkeit zumindest ${}\epsilon$ ist, bei hinreichend großen ${}n$ beliebig klein.

Beweis

Bei einer ${}n$-fachen Durchführung eines Bernoulli-Experimentes ist die relative Häufigkeit die Anzahl der positiven Ausgänge dividiert durch die Anzahl ${}n$ der Durchführungen. Wenn man für das Experiment den Bernoulli-Raum ${}\{0,1\}$ mit ${}P(1)=p$ ansetzt und die ${}n$-fache Hintereinanderausführung durch den Produktraum ${}\{0,1\}^{n}$ beschreibt, so ist die relative Häufigkeit gleich ${}{\frac {\sum _{i=1}^{n}x_{i}}{n}}$. Der Abstand zur Erfolgswahrscheinlichkeit ist somit

$\vert {{\frac {\sum _{i=1}^{n}x_{i}}{n}}-p}\vert .$

Für die Wahrscheinlichkeit, dass dieser Abstand größer als ${}\epsilon$ ist, gibt es nach Fakt die Abschätzung

${}P{\left({\left\{(x_{1},\ldots ,x_{n})\in \{0,1\}^{n}\mid \vert {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}-p}\vert \geq \epsilon \right\}}\right)}\leq {\frac {p(1-p)}{n\epsilon ^{2}}}\,.$

Für ${}n$ hinreichend groß wird die rechte Seite beliebig klein.

$\Box$

Satz

Zu jedem ${}\alpha <{\frac {1}{2}}$

konvergiert die Folge

${\frac {1}{2^{n}}}{\left(\sum _{k=0}^{\lfloor \alpha n\rfloor }B_{{\frac {1}{2}},n}(k)\right)}$

gegen ${}0$.

Das bedeutet, dass die relative Häufigkeit bei einem ${}n$-fach wiederholten Bernoulli-Experiment zur Wahrscheinlichkeit ${}{\frac {1}{2}}$ bei ${}n$ hinreichend groß mit beliebig hoher Wahrscheinlichkeit im Intervall ${}[\alpha n,(1-\alpha )n]$ liegt.

Beweis

Dies ergibt sich als ein Spezialfall von Fakt, wenn man ${}\alpha ={\frac {1}{2}}-\epsilon$ ansetzt.

$\Box$