Endliche Menge/Funktion/Fehlerquadratsumme/Beispiel

Es sei ${}E$ eine endliche Menge und

${}V={\mathbb {K} }^{E}\cong {\mathbb {K} }^{\#\left(E\right)}\,$

die Menge der ${}{\mathbb {K} }$-wertigen Funktionen auf ${}E$, versehen mit dem Standardskalarprodukt. Eine Funktion ${}f\in V$ kann einfach durch eine vollständige Wertetabelle beschrieben werden. Es kann aber auch sinnvoll sein, die Funktion ${}f$ durch eine Funktion ${}g$ aus einem vorgegebenen Untervektorraum ${}U\subseteq V$ zu approximieren. Dabei liefert das Skalarprodukt und die zugehörige orthogonale Projektion auf ${}U$ ein naheliegendes Hilfsmittel, um eine optimale Approximation zu finden. Nach Fakt ist ${}p_{U}(f)$ diejenige Funktion, die unter allen Funktionen aus ${}U$ zu ${}f$ den minimalen Abstand besitzt, wobei der Abstand zu ${}f$ über das Skalarprodukt gegeben ist, also durch

${}\Vert {g-f}\Vert ^{2}=\sum _{i\in E}\vert {g_{i}-f_{i}}\vert ^{2}\,.$

Wenn ${}g_{j}$, ${}j\in J$, eine Orthonormalbasis von ${}U$ ist, so ist

${}g=p_{U}(f)=\sum _{j\in J}\left\langle f,g_{j}\right\rangle g_{j}\,$

nach Fakt die beste Approximation. Das so bestimmte ${}g$ minimiert also die Summe der einzelnen Differenzquadrate, man spricht von der Methode der kleinsten Fehlerquadrate.

Eine typische Anwendung ist, wenn ${}E$ Messtellen repräsentiert, etwa ${}E\subseteq \mathbb {R} ^{d}$, und ${}f_{e}$ Messergebnisse, die eventuell fehlerhaft sein können. Man weiß aus physikalischen Gründen, dass die Abhängigkeit einer gewissen Gesetzmäßigkeit gehorchen muss, beispielsweise ein linearer Zusammenhang sein muss oder als Flugbahn eines Planeten eine Ellipse sein muss oder ähnliches. Diese Gesetzmäßigkeit legt den (typischerweise niedrigdimensionalen) Untervektorraum ${}U$ fest, in dem nach einer optimalen Approximation gesucht wird, das den Messergebnissen möglichst nahe kommt.