Hilbertraum/Orthonormalsystem/Ausgleichsgerade/Einführung/Textabschnitt

Definition

Es sei ${}V$ ein ${}{\mathbb {K} }$-Vektorraum mit Skalarprodukt ${}\left\langle -,-\right\rangle$. Eine Familie von Vektoren ${}v_{i}$, ${}i\in I$, von ${}V$ heißt Orthonormalsystem, wenn

$\left\langle v_{i},v_{i}\right\rangle =1{\text{ für alle }}i\in I{\text{ und }}\left\langle v_{i},v_{j}\right\rangle =0{\text{ für }}i\neq j$

gilt.

Zu einem gegebenen Orthonormalsystem ${}v_{i}$, ${}i\in I$, und einem Vektor ${}v\in V$ spielen die Koeffizienten ${}\left\langle v,v_{i},\right\rangle$ eine wichtige Rolle, man spricht von den Fourierkoeffizienten des Vektors bezüglich des Systems, wobei diese Sprechweise insbesondere im Kontext von Fourierreihen verwendet wird. Eine wichtige Frage ist, in welcher Beziehung ${}v$ zu ${}\sum _{i\in I}\left\langle v,v_{i},\right\rangle v_{i}$ steht, wobei bei ${}I$ unendlich zuerst zu klären ist, in welchem Sinne eine solche unendlich Summe verstanden werden kann. Im endlichen Fall haben wir folgende Beschreibung, auf die man weitere Resultate zurückführen kann.

Lemma

Es sei ${}V$ ein ${}{\mathbb {K} }$-Vektorraum mit einem Skalarprodukt ${}\left\langle -,-\right\rangle$, sei ${}v_{i}$, ${}i\in E$, ein endliches Orthonormalsystem mit dem davon erzeugten Untervektorraum ${}U$.

Dann gilt für die orthogonale Projektion

${}p_{U}(v)=\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}\,.$

Beweis

Es sei

${}w=v-\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i}\,,$

es ist nach Fakt lediglich zu zeigen, dass ${}w$ orthogonal zu den ${}v_{j}$ ist. Dies ergibt sich direkt aus

${}{\begin{aligned}\left\langle w,v_{j}\right\rangle &=\left\langle v-\sum _{i\in E}\left\langle v,v_{i}\right\rangle v_{i},v_{j}\right\rangle \\&=\left\langle v,v_{j}\right\rangle -\sum _{i\in E}\left\langle \left\langle v,v_{i}\right\rangle v_{i},v_{j}\right\rangle \\&=\left\langle v,v_{j}\right\rangle -\left\langle v,v_{j}\right\rangle \\&=0.\end{aligned}}$

$\Box$

Beispiel

Es sei ${}E$ eine endliche Menge und

${}V={\mathbb {K} }^{E}\cong {\mathbb {K} }^{\#\left(E\right)}\,$

die Menge der ${}{\mathbb {K} }$-wertigen Funktionen auf ${}E$, versehen mit dem Standardskalarprodukt. Eine Funktion ${}f\in V$ kann einfach durch eine vollständige Wertetabelle beschrieben werden. Es kann aber auch sinnvoll sein, die Funktion ${}f$ durch eine Funktion ${}g$ aus einem vorgegebenen Untervektorraum ${}U\subseteq V$ zu approximieren. Dabei liefert das Skalarprodukt und die zugehörige orthogonale Projektion auf ${}U$ ein naheliegendes Hilfsmittel, um eine optimale Approximation zu finden. Nach Fakt ist ${}p_{U}(f)$ diejenige Funktion, die unter allen Funktionen aus ${}U$ zu ${}f$ den minimalen Abstand besitzt, wobei der Abstand zu ${}f$ über das Skalarprodukt gegeben ist, also durch

${}\Vert {g-f}\Vert ^{2}=\sum _{i\in E}\vert {g_{i}-f_{i}}\vert ^{2}\,.$

Wenn ${}g_{j}$, ${}j\in J$, eine Orthonormalbasis von ${}U$ ist, so ist

${}g=p_{U}(f)=\sum _{j\in J}\left\langle f,g_{j}\right\rangle g_{j}\,$

nach Fakt die beste Approximation. Das so bestimmte ${}g$ minimiert also die Summe der einzelnen Differenzquadrate, man spricht von der Methode der kleinsten Fehlerquadrate.

Eine typische Anwendung ist, wenn ${}E$ Messtellen repräsentiert, etwa ${}E\subseteq \mathbb {R} ^{d}$, und ${}f_{e}$ Messergebnisse, die eventuell fehlerhaft sein können. Man weiß aus physikalischen Gründen, dass die Abhängigkeit einer gewissen Gesetzmäßigkeit gehorchen muss, beispielsweise ein linearer Zusammenhang sein muss oder als Flugbahn eines Planeten eine Ellipse sein muss oder ähnliches. Diese Gesetzmäßigkeit legt den (typischerweise niedrigdimensionalen) Untervektorraum ${}U$ fest, in dem nach einer optimalen Approximation gesucht wird, das den Messergebnissen möglichst nahe kommt.

Beispiel

Von einer unbekannten Funktion ${}f\colon \mathbb {R} \rightarrow \mathbb {R}$ sei der Datensatz ${}(1,11),\,(4,20),\,(6,23)$ gegeben und es sei bekannt, dass ${}f$ eine affin-lineare Funktion sein muss. Der Datensatz beruht auf Messungen, in denen Fehler und Ungenauigkeiten vorkommen können, die drei Punkte liegen nicht wirklich auf einer Geraden. Es wird nach der affin-linearen Funktion ${}ax+b$ gesucht, die gut zu den Daten passt. Wir betrachten die Abbildung

$\Psi \colon \mathbb {R} ^{2}\longrightarrow \mathbb {R} ^{3},\,(a,b)\longmapsto (a+b,4a+b,6a+b),$

die einem Parameterpaar ${}(a,b)$, das die affin-lineare Funktion ${}ax+b$ repräsentiert, die Auswertung an den drei Punkten ${}(1,4,6)$ zuordnet. Dabei ist ${}\Psi$ eine injektive lineare Abbildung und das Bild ${}U=\operatorname {bild} \varphi$ ist ein zweidimensionaler Untervektorraum von ${}\mathbb {R} ^{3}$. Diese Ebene steht senkrecht zum Vektor ${}{\begin{pmatrix}-2\\5\\-3\end{pmatrix}}$, eine Basis ist durch ${}{\begin{pmatrix}5\\2\\0\end{pmatrix}}$ und ${}{\begin{pmatrix}0\\3\\5\end{pmatrix}}$ gegeben (die unter ${}\Psi$ von der Basis ${}{\begin{pmatrix}-1\\6\end{pmatrix}}$ und ${}{\begin{pmatrix}1\\-1\end{pmatrix}}$ des ${}\mathbb {R} ^{2}$ herrührt). Die optimale Approximation (im Sinne der euklidischen Norm bzw. im Sinne der kleinsten Fehlerquadrate) ist die orthogonale Projektion des Wertetupels ${}{\begin{pmatrix}11\\20\\23\end{pmatrix}}$ auf die Ebene. Dies führt zum linearen Gleichungssystem

${}{\begin{pmatrix}11\\20\\23\end{pmatrix}}=\alpha {\begin{pmatrix}5\\2\\0\end{pmatrix}}+\beta {\begin{pmatrix}0\\3\\5\end{pmatrix}}+\gamma {\begin{pmatrix}-2\\5\\-3\end{pmatrix}}\,$

mit den Lösungen ${}\alpha ={\frac {218}{95}}$, ${}\beta ={\frac {901}{190}}$ und ${}\gamma ={\frac {9}{38}}$. Daher ist

${}p_{U}{\begin{pmatrix}11\\20\\23\end{pmatrix}}={\frac {218}{95}}{\begin{pmatrix}5\\2\\0\end{pmatrix}}+{\frac {901}{190}}{\begin{pmatrix}0\\3\\5\end{pmatrix}}={\frac {1}{190}}{\begin{pmatrix}2180\\3575\\4505\end{pmatrix}}={\frac {1}{38}}{\begin{pmatrix}436\\715\\901\end{pmatrix}}\,.$

Der entsprechende Punkt auf dem ${}\mathbb {R} ^{2}$ ist

${}{\frac {218}{95}}{\begin{pmatrix}-1\\6\end{pmatrix}}+{\frac {901}{190}}{\begin{pmatrix}1\\-1\end{pmatrix}}={\frac {1}{190}}{\begin{pmatrix}-436+901\\2616-901\end{pmatrix}}={\frac {1}{190}}{\begin{pmatrix}465\\1715\end{pmatrix}}={\frac {1}{38}}{\begin{pmatrix}93\\343\end{pmatrix}}\,.$

Die beste Approximation ist also

${}f(x)={\frac {93}{38}}x+{\frac {343}{38}}\,.$

Es ist ${}f(1)={\frac {436}{38}}\sim 11,473$, ${}f(4)={\frac {715}{38}}\sim 18,815$ und ${}f(6)={\frac {901}{38}}\sim 23,710$.

Satz

Es seien ${}x_{1},\ldots ,x_{n}$ verschiedene reelle Zahlen, ${}n\geq 2$, und ${}y_{1},\ldots ,y_{n}$ reelle Zahlen. Es sei ${}{\bar {x}}={\frac {\sum _{i=1}^{n}x_{i}}{n}}$ und ${}{\bar {y}}={\frac {\sum _{i=1}^{n}y_{i}}{n}}$.

Dann ist die affin-lineare Funktion ${}ax+b$ mit

${}a={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})y_{i}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\,$

und

${}b={\bar {y}}-a{\bar {x}}\,$

die optimale lineare Approximation für den Datensatz

${}f(x_{i})=y_{i}\,$

im Sinne der minimalen Fehlerquadrate.

D.h. die Summe der Fehlerquadrate ${}\sum _{i=1}^{n}(ax_{i}+b-y_{i})^{2}$ wird für die angegebenen Koeffizienten ${}a$ und ${}b$ minimal.

Beweis

Wir betrachten die Abbildung

$\psi \colon \mathbb {R} ^{2}\longrightarrow \mathbb {R} ^{n},\,(a,b)\longmapsto \left(ax_{1}+b,\,\ldots ,\,ax_{n}+b\right).$

Diese Abbildung ist linear und injektiv, da

${}\psi (1,0)=\left(x_{1},\,\ldots ,\,x_{n}\right)=:v_{1}\,$

und

${}\psi (0,1)=\left(1,\,\ldots ,\,1\right)=:v_{2}\,$

linear unabhängig sind. Es sei

${}U=\operatorname {bild} \psi =\langle v_{1},v_{2}\rangle \subseteq \mathbb {R} ^{n}\,.$

Es geht darum, die orthogonale Projektion von ${}y=\left(y_{1},\,\ldots ,\,y_{n}\right)$ auf ${}U$ zu bestimmen. Der Vektor

${}u_{2}={\frac {v_{2}}{\Vert {v_{2}}\Vert }}=\left({\frac {1}{\sqrt {n}}},\,\ldots ,\,{\frac {1}{\sqrt {n}}}\right)\,$

ist normiert. Wegen

${}\left\langle {\begin{pmatrix}x_{1}\\\vdots \\x_{n}\end{pmatrix}}-{\bar {x}}{\begin{pmatrix}1\\\vdots \\1\end{pmatrix}},{\begin{pmatrix}1\\\vdots \\1\end{pmatrix}}\right\rangle =0\,$

bildet

${}u_{1}:={\frac {v_{1}-{\bar {x}}v_{2}}{\Vert {v_{1}-{\bar {x}}v_{2}}\Vert }}={\frac {1}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}{\begin{pmatrix}x_{1}-{\bar {x}}\\\vdots \\x_{n}-{\bar {x}}\end{pmatrix}}\,$

zusammen mit ${}u_{2}$ eine Orthonormalbasis von ${}U$. Es entspricht ${}u_{2}$ der konstanten Funktion ${}{\frac {1}{\sqrt {n}}}$ und ${}u_{1}$ der affin-linearen Funktion ${}{\frac {1}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}(x-{\bar {x}})$. Nach Fakt ist

${}p_{U}\left(y\right)=\left\langle y,u_{1}\right\rangle u_{1}+\left\langle y,u_{2}\right\rangle u_{2}\,,$

dabei ist

${}\left\langle y,u_{1}\right\rangle ={\frac {\sum _{i=1}^{n}y_{i}{\left(x_{i}-{\bar {x}}\right)}}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}\,$

und

${}\left\langle y,u_{2}\right\rangle ={\frac {\sum _{i=1}^{n}y_{i}}{\sqrt {n}}}\,.$

Somit ist die optimale affin-lineare Funktion gleich

${\frac {\sum _{i=1}^{n}y_{i}{\left(x_{i}-{\bar {x}}\right)}}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}\cdot {\frac {1}{\sqrt {\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}}(x-{\bar {x}})+{\frac {\sum _{i=1}^{n}y_{i}}{\sqrt {n}}}\cdot {\frac {1}{n}},$

also ist

${}a={\frac {\sum _{i=1}^{n}y_{i}{\left(x_{i}-{\bar {x}}\right)}}{\sum _{i=1}^{n}{\left(x_{i}-{\bar {x}}\right)}^{2}}}\,$

und

${}b={\bar {y}}-a{\bar {x}}\,.$

$\Box$

Den Graphen der approximierenden affin-linearen Funktion im vorstehenden Satz nennt man Ausgleichsgerade.

Beispiel

In der Situation von Beispiel kommt man mit Fakt deutlich schneller ans Ziel. Es ist

${}{\bar {x}}={\frac {1+4+6}{3}}={\frac {11}{3}}\,$

und daher

${}{\begin{aligned}a&={\frac {{\left(1-{\frac {11}{3}}\right)}\cdot 11+{\left(4-{\frac {11}{3}}\right)}\cdot 20+{\left(6-{\frac {11}{3}}\right)}\cdot 23}{{\left(1-{\frac {11}{3}}\right)}^{2}+{\left(4-{\frac {11}{3}}\right)}^{2}+{\left(6-{\frac {11}{3}}\right)}^{2}}}\\&={\frac {-{\frac {8}{3}}\cdot 11+{\frac {1}{3}}\cdot 20+{\left({\frac {7}{3}}\right)}\cdot 23}{{\left(-{\frac {8}{3}}\right)}^{2}+{\left({\frac {1}{3}}\right)}^{2}+{\left({\frac {7}{3}}\right)}^{2}}}\\&=3\cdot {\frac {-88+20+161}{64+1+49}}\\&=3\cdot {\frac {93}{114}}\\&={\frac {93}{38}}\end{aligned}}$

und

${}b={\bar {y}}-a{\bar {x}}=18-{\frac {93}{38}}\cdot {\frac {11}{3}}={\frac {2052-1023}{114}}={\frac {1029}{114}}={\frac {343}{38}}\,.$